[아이티데일리] 생성형 AI는 다양한 산업 분야에 비즈니스 혁신을 일으킬 수 있는 잠재력을 갖고 있다. 비즈니스 및 기술 리더들은 생성형 AI가 갖고 있는 장점이 잠재적인 위험보다 크다고 확신한다. 그러나 생성형 AI의 모범 사례에 대한 이해도 부족은 기업들이 생성형 AI도입을 가로막는 한 원인이 되고 있다.

가트너는 2025년까지 생성형 AI 프로젝트 중 최소 30%가 데이터 품질 저하, 부적절한 리스크 관리, 비용 증가 등으로 인해 실증단계(POC) 이후 중단될 것으로 예측했다. 최고정보책임자(CIO)가 생성형 AI 확장을 위해 다양한 모범 사례를 참고해야 하는 이유이다.

활용 사례 우선순위 설정을 위한 프로세스 구축

생성형 AI를 구축하기 위한 첫 번째 단계는 AI 구축 목표를 설정하고 달성 가능한 목표에 대한 사전 논의를 진행하는 것이다. 이후에는 생성형 AI 기술로 시범 운영할 수 있는 잠재적 활용 사례를 수집해야 한다. 활용 사례 우선순위 설정은 조직의 필수적인 전략 요소다. 우선순위 설정은 기술의 매력도나 ‘화려한 데모’에 의해서 결정돼서는 안 되고, 조직 가치 제안에 대한 총체적인 평가에 따라 결정돼야 한다. 공급업체가 그들의 역량을 반영해 할인된 실증 과정을 제안하기도 한다.

하지만 핵심은 △실질적인 비즈니스 가치 제공 △실현 가능성이 높은 활용 사례 식별 △규모 확장 시 위험과 비용 증가 회피에 있다. 따라서 우선순위를 정하는 작업에는 기술팀과 더불어 생성형 AI 애플리케이션을 활용할 비즈니스 부서, 보안, 리스크팀까지 모두 참여해야 한다.

구축 혹은 구매를 위한 의사 결정 프레임워크 개발

생성형 AI를 확장하려면 조직 내 잠재적 활용 사례에 대해 구축 혹은 구매 의사 결정을 내릴 수 있는 체계적인 접근 방식이 필요하다. 경쟁 우위를 확보할 수 있고, 프로세스에 필요한 기술과 지식을 갖추고 있다고 판단되면 AI를 구축하는 것이 좋다. CIO는 생성형 AI를 구축할지 구매할지에 대한 결정을 내리기 전에 접근 방식의 모든 장단점을 평가해야 한다.

확장성을 위한 시범운영

기업은 새로운 아이디어를 시범적으로 운영해 조직 내에서 활용 가능한 기술을 체득하고, 실험을 통해 학습해야 한다. 시범적으로 운영할 때 데이터, 개인정보 보호, 보안, 사용성 등을 꼼꼼하게 살펴야 한다. 다음으로 확장, 개선, 중단 등에 대한 결정을 내리기 위해서는 활용 사례를 들여다보고 테스트 전에 반드시 애자일 사고방식(Agile Mindset)을 확보해야 한다.

조직 전반에 안전한 실험을 할 수 있는 샌드박스 환경이 구축돼야 하는 것도 매우 중요하다. 적절한 보안 및 개인정보 보호 조치는 물론, 샌드박스 내에서 실험을 반복을 위한 여러 생성형 AI 모델에 대한 가용성을 갖춰야 한다. 이를 통해 개발자는 특정 활용 사례에 가장 적합한 모델을 유연하게 선택할 수 있다.

유연한 생성형 AI 플랫폼 아키텍처 설계

생성형 AI 환경은 인프라, 모델, AI 엔지니어링 도구, 애플리케이션이라는 네 개의 중요한 레이어로 구성된다. 기업은 자사 플랫폼 아키텍처가 높은 유연성과 확장성을 갖고 있으며 거버넌스가 포함돼 있는지 확인해야 한다. 생성형 AI 모델 환경은 빠르게 변화하고 있으며, 오픈소스 모델과 도메인 모델이 급부상하는 것처럼 현재로서는 상상할 수 없는 방식으로 끊임없이 진화할 것이다. 이 때문에 조직은 추후 모델 교체가 가능하도록 높은 유연성을 가진 아키텍처를 확보해야 한다.

생성형 AI의 최전선에 있는 ‘책임감 있는 AI’

생성형 AI는 기업들에게 큰 기회를 제공한다. 그러나 기회를 제공하는 만큼 위험부담도 높다. ‘책임감 있는 AI’라는 말이 나온 것도 이런 이유 때문이다. ‘책임감 있는 AI’는 AI 도입 시 적절한 비즈니스 및 윤리적 선택을 내리는 데 필요한 모든 측면을 포괄하는 용어다.

이러한 명확한 프레임워크가 없다면 조직은 해당 기술의 이점과 리스크 간 균형을 맞추는 데 어려움을 겪게 된다. 조직은 공정성, 유해성 완화, 윤리, 위험 관리, 개인정보 보호, 지속 가능성, 규정 준수 등 주요 영역에 걸쳐 명확한 원칙과 정책을 수립해 책임감 있는 AI에 대한 비전을 정의하고 공표해야 한다.

데이터 및 AI 리터러시에 대한 투자

전통적인 AI와 달리 생성형 AI는 다수의 직원들이 적극적이고 직접적으로 활용한다. 생성형 AI의 광범위한 배포를 위해서는 관련 활용 사례를 식별하고 해당 AI 애플리케이션을 구현하고 운영할 수 있는 역량이 있어야 한다. 또한 맥락 내에서 AI를 활용할 수 있는 능력인 AI 리터러시에도 중점을 둬야 한다.

기업은 비즈니스 부서를 대상으로 맞춤형 교육을 실시하고, 고위 경영진을 대상으로 데이터 및 AI 리터러시 기술을 교육해야 한다. 또한 신속한 엔지니어링, 모델 검증 및 튜닝, 인프라 관리, 책임감 있는 AI와 같은 분야에서 생성형 AI에 특화된 기술을 갖춘 기술팀의 역량을 강화하는 과정이 반드시 필요하다.