[아이티데일리] 챗GPT(ChatGPT)와 같은 생성형 인공지능(AI) 도구들이 출시되면서 AI에 대한 과대광고가 정점에 달했다. 이에 대한 기대감으로 생성형 AI에 대한 투자가 크게 증가한 것도 자명한 사실이다. 가트너가 약 2,500명의 경영진을 대상으로 실시한 설문에서도 45%의 경영진이 2022년 11월 챗GPT가 곳곳에서 뉴스 헤드라인을 장식하기 시작한 이후로 AI 투자를 늘렸다고 답했다.

많은 벤더들은 AI 시장에 진입하며 다양한 기술 기반의 AI 기능을 제공한다고 주장한다. 그러나 무엇보다 주요한 AI 투자의 문제점은 실제 비즈니스 문제를 해결하거나 다양한 용례를 제공하기 위해 AI 기능을 통합하는 방법을 이해하기 보다는 특정 사용 사례에 국한된 단일 기능의 개발을 전제로 한다는 것이다. 이처럼 엔드투엔드(End-to-end) 비즈니스 역량보다 개발 용례를 기반으로 하는 단편적인 AI 이니셔티브 투자가 계속될 경우, 조직은 투자 함정에 빠져 실질적인 생산성 향상을 이끌어내는 경쟁업체에 뒤처질 위험이 있다.

이에 엔터프라이즈 아키텍처(EA, Enterprise Architecture) 리더는 조직이 기존 IT 자산에 AI 기능을 효과적으로 설계, 투자 및 통합할 수 있도록 지원하는 방법을 빠르게 습득해야 한다. 가트너는 실행 가능한 용례를 식별하는 것에서부터 결과물을 관리하는 것까지 조직 내에서 AI를 활용하기 위한 5단계 프레임워크를 제시한다(그림1 참조).

1. 비즈니스 사례: 해결해야 할 비즈니스 문제 또는 달성해야 할 성과를 확인하고, 그 범위를 정하는 데 AI를 어떻게 활용할 것인가?
2. 데이터 발견: 비즈니스 문제 해결 및 성과 달성에 필요한 데이터를 식별하는 데 AI를 어떻게 활용할 것인가?
3. 모델 선택: 목표한 비즈니스 문제를 해결하거나 성과를 달성하는 데 가장 적합한 AI 모델은 무엇인가?
4. 모델 배포: 비즈니스 문제를 해결하거나 성과를 달성하는 데 필요한 인사이트를 생성하도록 AI 모델을 어떻게 훈련하고 테스트할 수 있는가?
5. 지속적인 모니터링: 적절한 수준의 보증을 제공하고 필요한 경우 조정할 수 있도록 배포한 모델의 정확도, 정밀도 및 회수율을 보장하려면 어떻게 해야 하는가?

단계별 분석

EA 리더는 5단계에 걸쳐 이해관계자가 AI를 통해 성공을 거둘 수 있도록 이끄는 역할을 해야 한다. 전략적인 측면부터 운영에 이르기까지 모든 이니셔티브에서 구체적이고 명확한 AI 역량 및 툴 결정을 내릴 수 있도록 다음의 내용을 참고하는 것이 좋다.

1단계: 비즈니스 사례

1단계에서 EA 리더는 이해관계자가 목표한 비즈니스 성과에 맞게 사용을 조정할 수 있도록 지원한다. 이는 비즈니스 성과 중심의 EA 접근 방식에서 매우 중요하며, 목표한 비즈니스 성과가 확인되면 EA 리더는 역량 기반 계획을 통해 이해관계자가 올바른 AI 투자 및 이니셔티브를 달성하도록 이끌 수 있다. 이 단계는 이해관계자가 여전히 과대 광고에 현혹돼 AI가 실제 사용 사례에 적용되지 않는데도 적용 가능하다고 믿을 수 있기 때문에 문제 발생 가능성이 가장 높은 단계다.

목표 비즈니스 성과

먼저 주요 비즈니스 이해관계자와 협력해 달성하고자 하는 비즈니스 성과를 정의해야 한다. 비즈니스 성과 계획서, 고객 경험, 비즈니스 역량 등 비즈니스 아키텍처 결과물을 사용해 비즈니스 성과를 명확하게 표현하고 미래 상태를 정의하며, 성공 측정의 지표와 척도를 파악해야 한다. 이를 통해 AI 솔루션이 제공해야 할 목표를 명확하게 정리할 수 있다. 아울러 이해관계자가 누구인지, 비즈니스 성과를 기준으로 AI가 적용 가능한 기술인지 확인해야 한다.

2단계: 데이터 발견

역량 기반 계획에 따라 이니셔티브가 선정되면 EA 리더는 프로젝트 및 제품 팀이 목표 성과를 달성하는 데 필요한 데이터를 파악하도록 지원할 수 있다. 이 과정의 첫 번째 단계는 사용 가능한 데이터와 그 사용성 수준을 결정하는 것이다. 이러한 맥락에서 가트너는 ‘사용성’을 사용자가 비즈니스 성과를 달성하기 위해 데이터에서 인사이트를 얻을 수 있는 능력으로 정의한다.

사용성은 데이터의 관련성, 접근성 및 실행 가능성에 기초한다. AI의 관점에서 데이터 사용자는 결국 AI 모델과 유사한 역할을 하므로, EA 리더는 이해관계자가 다양한 AI 모델에서 데이터를 활용하는 방식과 제약 조건을 사전에 고려하도록 유도해야 한다. 정보 아키텍트 또는 데이터 및 분석 전문가의 지식이 도움이 될 수 있다.

데이터 접근성 및 수집

데이터를 학습 데이터와 운영 데이터의 두 가지 범주로 구분하는 것이 도움이 된다. 대부분의 AI 도구는 학습을 위해 대규모의 데이터셋을 필요로 하는데, 이를 자체적으로 확보할 수 있는 경우도 있으며, 데이터에 접근하고 품질을 보장하기 위한 전략이 필요할 수 있다. 때로는 외부 데이터를 구매하거나 메타데이터로 태그된 이미지 라이브러리와 같은 방법으로 학습에 사용할 데이터셋을 인위적으로 생성해야 할 수도 있다.

이상적으로는 조직이 이니셔티브가 목표한 비즈니스 성과를 달성하는 데 필요한 모든 데이터를 보유하고 있어야 하지만, 이는 현실적으로 불가능하다. 따라서 EA 리더는 프로젝트 및 제품 팀이 현재 데이터를 기반으로 가장 적합한 AI 모델 식별하도록 돕거나 데이터 부족 문제를 해결하고 보완할 수 있는 방법을 조언해야 한다. 이는 합성 데이터를 사용하거나 외부 소스에서 데이터를 확보하는 방식으로 가능한데, 이를 확보할 계획 또한 EA 리더가 답변할 수 있어야 한다.

데이터가 확보되면 정보 아키텍트는 데이터 품질을 평가할 수 있다. 데이터 품질 평가는 간단해 보이지만 상당한 노력이 필요한 작업으로, 일회성이 아니라 데이터 수명 주기 전반에 걸쳐 데이터 프로파일링, 결과 분석, 데이터 품질 규칙 생성, 규칙에 따른 데이터 정리, 지속적인 모니터링 등 일련의 작업이 진행돼야 한다. 의미 있는 방식으로 AI를 적용하기 위해 데이터 품질 관리가 가장 중요하며, 이는 데이터의 신뢰성과 편향성 확인에도 도움이 된다. 편향성은 일반적인 문제로, 가능한 한 빨리 해결해야 한다.

3단계: 모델 선택

3단계에서 EA 리더는 디자인 원칙을 알리거나 디자인 씽킹(Design Thinking) 워크숍을 주최해 이해관계자를 적절한 모델로 이끄는 역할을 한다. 이러한 워크숍은 1단계와 2단계에서 수행한 작업을 기반으로 진행돼야 한다. 목표 성과 식별 및 데이터 요구 사항 정의를 완료하면 디자인 씽킹 초기 두 단계인 공감과 정의를 달성할 수 있게 된다. 세 번째 단계인 아이디에이션(Ideation)은 워크숍 내에서 이루어질 수 있으며, 이때 EA 리더는 기대되는 결과와 데이터 요구 사항을 기업에서 활용 가능한 적절한 AI 모델에 연결하도록 지원해야 한다.

데이터 특성

적절한 AI 모델 선택은 데이터와 그 기반 지식이 비즈니스 문제를 해결하는 데 어떻게 사용되는지를 이해하는 데 달려 있다. 보통 사람이 문제를 해결하는 방법을 생각한 다음 그 해결책을 기존 AI 기능과 결합하는 것이 특성을 파악하는 데 도움이 될 것이다.

예를 들어 일부 비즈니스 문제는 창고 재고 관리와 같이 명확한 규칙과 결과가 있는 반면, 일부 문제는 날씨가 공급망에 미치는 영향과 같이 불확실성과 확률성을 내포할 수 있으며 심지어는 이 두 가지가 복합적으로 작용하는 문제도 있다. EA 리더가 주도하는 디자인 워크숍을 통해 이러한 문제를 파악할 수 있다.

AI 연구에 근거한 몇 가지 일반적인 데이터 수집 및 해석 메커니즘도 있다. EA 리더는 워크숍을 통해 이해관계자가 특정 사용 사례에 어떤 메커니즘이 적용되는지 결정하고 모델을 구축하는 데 필요한 데이터와 AI 도구를 식별하도록 지원할 수 있다.

데이터 제약

내부 또는 외부에서 제공되는 모든 데이터는 개인정보 보호, 규정 준수, 정확성 및 유효성과 같은 의무를 갖는다. 따라서 데이터 품질 기준을 정의하고 데이터가 이를 준수하는지 평가해야 한다. 많은 AI 도구에서 데이터셋 자체가 실제 세계를 대표하지 못해 편향될 위험이 있기 때문에 데이터셋이 대표성을 갖는지 확인하고, 도구 테스트 과정에서도 이를 검토해야 한다.

4단계: 모델 배포

4단계의 최종 목표는 AI 모델을 배포해 해당 이니셔티브와 관련된 목표 결과를 달성하는 데 도움이 되는 인사이트를 생성하는 것이다. 그러나 배포에 앞서 모델을 학습하고 테스트하는 작업이 필요하다. 표준 거버넌스 프로세스가 이미 존재한다면 이를 준수해야 하며, 검토 과정 중에 데이터 거버넌스 이사회에 AI 이니셔티브를 소개할 솔루션 아키텍트를 포함시킬 수도 있다.

모델 학습

모델 학습 단계는 선택한 모델에 따라 상이할 수 있다. 생성형 AI 모델을 선택한 경우 GPT와 같은 기본 모델에서 새로운 모델을 구축하기에 데이터, 리소스 및 시간이 부족할 가능성이 높다. 따라서 기존 모델을 재사용하는 것이 더 효율적일 것이다. GPT와 같은 기본 모델에 스마트하게 프롬프트(사용자와의 상호 작용을 시작하거나 요청할 때 LLM이나 다른 AI에 제공되는 지침)를 제공함으로써 더 나은 결과를 얻을 수 있다.

모델 테스트

모델 테스트의 목적은 AI 모델이 생성하는 동작과 결과가 사용 기대치 범위 내에 부합하는지 확인하는 것이다. 테스트 데이터는 예측 값과 실제 값 사이의 정탐(True Positive), 오탐(False Positive), 미탐(False Negative), 진탐(True Negative) 등 4가지 유형의 결과를 다뤄야 한다. 이를 통해 AI 모델이 예측을 정확하게 수행하며 원하는 결과를 도출하는지 검증할 수 있다.

5단계: 지속적인 모니터링

5단계는 작동 시 모델 조정을 위해 4단계로 돌아가는 트리거로 구성된다. 이러한 트리거는 명확하게 정의돼야 하며 상위 원칙을 기반으로 해야 한다. EA 리더의 역할은 이러한 AI 원칙을 개발하도록 이해관계자를 안내하는 것이다. 이러한 원칙과 기본 트리거는 배포된 모델이 관련성, 신뢰성 및 안정성을 유지하는 데 도움이 되며, 모델의 내구성 극대화를 위해 지속적인 학습 및 성능 편차 추적, 그리고 데이터 큐레이션 및 관리라는 두가지 핵심 활동이 요구된다.

지속적인 학습, 성과 및 관리

AI 모델 모니터링은 시간 및 기술 측면에서 사람이 모두 감당하기 어려울 수 있어 일부 AI 기능이 모니터링에 도움을 줄 수 있다. 에이전트 기반 컴퓨팅(Agent-based computing)은 이 분야에서 주목할 만한 기능 중 하나로, 복잡한 도메인을 시뮬레이션하기 위해 자율적이고 목표 지향적인 프로그램을 배포한다. 그러나 이 5단계의 엔드투엔드 접근을 제공하기 위해서는 여러 기능의 조합이 필요할 수 있다는 점을 참고해야 한다.

만약 AI 모델과 관련 솔루션 구성 요소가 기존 비즈니스 솔루션을 대체하는 목표를 가진다면, 병렬 실행 기간이 필요할 수 있다. 이는 엔드투엔드 AI 솔루션과 운영 및 지원 구성 요소가 전체 비즈니스 사용 사례의 수요와 규모를 충족시키기 위한 확장성, 성숙도, 품질 및 복원력을 보장하는지 확인하기 위한 것이다.

제언

AI 적용은 AI투자와 비즈니스 성과가 단절되거나 수많은 들쭉날쭉한 성능의 AI 모델 중에서 적절치 못한 AI 모델을 선택하는 등 여러 잠재적인 문제를 유발할 수 있다. EA 리더는 이러한 문제를 예방 및 극복하며 전략부터 운영에 이르기까지 모든 이니셔티브에서 구체적이고 정확한 결정을 내려야 하는 중요한 역할을 맡는다. 모든 이해관계자 및 조직이 AI로부터 성공적인 가치를 도출하고 비즈니스 성과를 얻도록 5단계 접근 방식을 슬기롭게 적용하길 바란다.