[아이티데일리] AI의 발전이 거듭될 경우 의도치 않은 결과를 초래할 수 있다. AI에 학습 및 적응 능력을 부여하면 AI를 개발한 인간조차도 AI의 미래 행동을 예측하기 어렵기 때문이다. 실제 AI 기반 엔터티(Entity)는 다음 세 가지 기능을 통해, 프로그래밍 되지 않은 작업을 수행할 수 있다.

● 기계 자율성(Machine autonomy): 학습한 내용을 처리해 업무 성과를 개선하는 등 스스로 결정을 내릴 수 있는 능력
● 머신 에이전시(Machine agency): 로직과 학습의 결과로 결정을 내리고 이를 스스로 실행할 수 있는 능력
● 머신러닝(Machine learning): 새롭고 더 나은 작업 방식을 탐색해 실행 가능하고 유용한 지식의 저장을 늘리는 능력

이러한 기능 덕분에 AI 엔터티는 뜻밖의 해결책을 찾을 수도 있다. 심지어 특정 문제를 해결하도록 설계되지 않은 경우에도 해당 문제를 해결할 수 있다. 그러나 AI 엔터티가 더욱 정교해지고 더 복잡한 환경에 통합됨에 따라 예기치 못한 위험이 증가할 수도 있다(그림1 참조). 또한, 생성형 AI처럼 질문에 부합하지 않는 그럴듯한 응답을 내놓는 할루시네이션(Hallucination)과 같은 위험도 드러난다.

이처럼 AI가 유발하는 비의도적 결과의 위험을 관리해야 하는 경영진은 다음과 같은 4가지 권장사항을 고려해야 한다.

분석 및 권장사항

위험 영역 줄이기

챗GPT 및 기타 다양한 용도로 활용할 수 있는 AI 기술은 이를 사용하는 기업에 불필요한 위험을 초래할 수 있다. 이런 위험을 없애기 위해 경영진은 AI 엔터티의 복잡성과 지능을 각각의 엔터티가 수행해야 하는 업무에 맞게 조정해야 한다(그림 2 참조).

AI 엔터티는 설치 면적(도달 범위)과 엔터티 지능 수준(가치)을 기준으로 정교함의 수준을 평가할 수 있다. AI 기술이 정교해질수록 기업은 더 많은 위험에 직면하게 된다. 때문에 리더는 예측되는 비즈니스 성과가 특정 AI 엔터티의 도입이 초래할 위험을 능가하는지 확인해야 한다. 경험적으로 가장 좋은 방법은 비즈니스 목표를 달성할 수 있는 AI 기술 중 가장 덜 정교한 것을 선택하는 것이다.

AI에는 다음 네 가지 수준의 통합 위험(Integration Risk)이 존재한다.

● 단독 시스템(Stand-alone): AI 엔터티가 특정 업무에서 자체적으로 작동(예: 로봇 프로세스 자동화, 가상 고객 상담원)
● 하위 시스템(Subsystems): AI 엔터티가 더 큰 시스템의 일부로 작동(예: 로보어드바이저, 사기 탐지기)
● 엔터프라이즈(Enterprise): AI 엔터티가 기업의 주요 운영 역할 수행(예: 고속 거래, 로봇 수술)
● 에코시스템(Ecosystem): AI 엔터티가 파트너 에코시스템을 위한 주요 운영 역할 수행(예: 융자 처리, 지능형 공급망)

인텔리전스 위험과 통합 위험이라는 두 가지 범주를 기준으로 리더는 AI 도입이 초래할 수 있는 전반적인 위험 수준을 어느정도 파악할 수 있다.

그랜드마스터(Grandmaster) 설계자와 책임감 있는 문화 만들기

AI 설계자는 AI 엔터티가 처음 출시된 후 어떤 행동을 보일지 예측해야 한다. 예를 들면 ‘트레이딩 알고리즘이 원래 목표와 학습된 데이터의 의도치 않은 결과로 고객의 이익에 반하는 방향으로 작동할 가능성은 없는지’와 같은 것이다. 이를 위해 기업은 처음부터 공과대학과의 협력, 견습 프로그램 개발 등 기업가적인 방식으로 분야를 구축해 나가야 한다.

리더는 설계 분야의 최고 전문가를 발굴해 첫 번째 그랜드마스터가 되도록 노력하는 것부터 시작할 수 있으며, 궁극적으로는 첨단 기술 및 도구의 발전으로 재능과 숙련도가 낮은 사람들의 역량을 그랜드마스터 수준으로 끌어올릴 수 있다.

그러나 기존 소프트웨어 프로그래밍은 이와 다른 사고방식, 즉 애플리케이션이 수행할 수 있는 모든 작업을 세세하게 지정하는 방식으로 운영돼왔다. 경영진은 다음과 같이 의도하지 않은 결과를 완화하는 데 주력하는 문화를 조성함으로써 AI에 관한 사고방식을 바꿔야 한다.

● 교차 팀 구성: AI 설계를 기술자에게만 맡기지 않고, AI 엔터티에 이해관계가 있는 모든 비즈니스 및 기능 부서가 참여해 개발에 대한 전문성을 부여해야 한다.
● 이해관계자 모집: 고객, 규제 기관, 정부 기관 및 주주는 AI 엔터티가 자신에게 영향을 미치는 경우 의견을 제시해야 한다.
● 끝없는 시나리오 테스트: 알고리즘 변형, 다양한 학습 데이터 및 작동 조건을 사용해 의도하지 않은 결과를 발견하는 테스트 프로토콜을 개발해야 한다.
● 시나리오 테스트베드(Test-bed) 개발 및 구축: 실제 환경을 재현한 시설을 포함해 AI 엔터티가 마주칠 수 있는 모든 물리적 및 디지털 요소와 함께 테스트를 지원하는 인프라에 투자해야 한다.
● 현장에서 AI 모니터링으로 돌발 행동 발견: 주어진 조건에서 의도하지 않은 변수가 발생하는지, 매개변수를 약간 조정했을 때 감도는 어떻게 되는지 등을 확인해야 한다.
● 의도하지 않은 결과에 대한 책임: 제품이 손상되거나 고객 관계가 악화된 경우, AI 애플리케이션을 운영하는 팀은 보상을 제공할 수 있는 권한과 리소스를 갖추고 있어야 한다. 현장 팀이 문제를 해결할 수 없는 경우 설계자는 문제의 원인을 해결하는 것을 최우선 과제로 삼아야 한다.

기계 양심 구축 연구

경영진이 설계자에게 요청해야 할 부분은 비즈니스 또는 운영 결과를 제공하는 주요 알고리즘 동작 확인을 위한 병렬 시스템을 정교한 AI 엔터티에 구축할 수 있는지 조사하는 것이다(그림 3 참조).

AI에게는 목표가 주어지지만, 양심은 다른 영역의 운영 효율성을 저해하지 않으면서 그 목표에 도달할 수 있도록 보장할 책임이 있다. 여기에는 데이터 프라이버시와 같은 법률 준수 외에도 주주 가치 및 직원 안전 유지와 같은 이상적인 행동도 포함된다.

목표를 특정 작업으로 지정하면 AI가 틀에 얽매이지 않고 생각할 수 있다는 점에서 이상적이지만, 대부분 운영상의 한계가 있다. 따라서 기계 양심은 AI 엔터티가 법을 위반하지 않도록 방지하고, 기업 정책을 준수하는지 확인하고, 차별 등 문화적 규범을 위반하지 않도록 관리하고, 과거 발생한 관련 이벤트 및 결과를 상기시키는 역할을 할 것이다.

그러나 의도하지 않은 결과의 법칙은 기계 양심에도 동일하게 적용된다. 예를 들어, 문화적인 이유로 기계 윤리에 지나치게 제한을 받는 가상 비서(Virtual Assistant)는 진부하거나 고정관념에 사로잡혀 진정성이나 흥미를 유발하지 못할 수 있다. 양심은 위험을 최소화할 수는 있지만 완전히 제거할 수는 없기 때문에 설계자는 자유와 제약 사이에서 균형을 찾아야 한다.

또한 기계 양심은 상황에 따라서 진화해야 한다. 법과 정책이 바뀌면 이를 새로운 입력을 통해 엔터티에 통합하고, 새로운 지역이나 새로운 고객층에서 엔터티를 사용할 때는 문화적 맥락과 역사를 업데이트해야 한다.

마지막으로 설계자는 기본 비즈니스 알고리즘과 기계 양심 간 또는 기계 양심 자체 요소 간에 상충되는 조언을 관리하는 방법을 결정해야 한다. 확률이 비슷할 경우 엔터티가 더 공격적으로 행동할지 아니면 더 보수적으로 할지 등을 고려해야 하는 것이다. 경우에 따라 사람이 직접 개입해 해결해야 할 수도 있다.

리더는 AI 양심을 설계하는 데 예산을 할당해 투자수익률(ROI)과 리스크 감소 간의 합리적인 균형을 유지해야 하며, 주요 시스템 원칙을 양심의 기능에도 적용해야 한다.

자율 운영에 대한 투자 확대

AI가 운영 자동화를 위한 대규모 이니셔티브에 속해 있다면 경영진은 AI의 위험을 최소화할 수 있다. 이는 AI가 작업 상태를 유지하기 위해 바쁘게 움직이기 때문에 AI의 위협을 억제하는 데 큰 도움이 된다. 디지털 기술의 발전으로 자산 집약적인 기업도 초자동화를 통해 20%에서 50%까지 비용을 절감할 수 있다.

예를 들어 원격으로 관리되는 표준화된 공장 운영을 통해 제조업과 시장 간 거리를 줄일 수 있으며, 정유 공장에서는 운영 관리를 위해 센서와 자동화(일부는 원격 관리)를 도입해 필요한 직원을 50% 이상 줄인 사례가 있다.

AI 엔터티가 비즈니스 또는 운영 전략에서 중심적인 역할을 하는 경우, 설계자는 효과적인 엔터티를 개발하는 데 필요한 리소스와 경영진의 관심을 항상 확보할 수 있다. 반대로, AI가 상대적으로 고립된 기술 이니셔티브에서 보다 적은 리소스와 주의를 기울일 경우 더 큰 위험을 초래할 수 있다. 즉 AI를 대규모로 도입하는 것이 사실상 더 안전하다.

제언

경영진은 계속해서 진화하는 AI가 가져올 수 있는 의도치 않은 위험에 대해 현명하게 대응해야 한다.

현실을 인식하고, 위험 공간을 축소하는 것을 시작으로 현장 총괄 책임자를 육성해 AI 행동을 예측하는 사고방식의 전환을 이끌어야 한다. 또한 AI에 대한 양심을 구축하고, 자율 운영에 대한 투자를 늘림으로써 위협을 억제해야 한다.

앞서 소개한 네 가지 단계를 하나의 가드레일로 삼아 AI가 통제 불능 상태에 빠지는 것을 방지하고, 챗GPT를 비롯한 AI를 조직 내에서 더욱 효과적으로 활용할 수 있기를 바란다.