[아이티데일리] 생성형 인공지능(AI) 도입 및 구축 사업이 모든 산업 분야에서 확대되고 있다. 정부·공공기관의 올해 AI 관련 사업 예산은 1,800억 원으로 지난해보다 늘어났다. 금융 분야에서는 40억 원 규모의 N은행의 ‘생성형 AI 구축사업’, H생명보험의 ‘퍼블릭 및 프라이빗 기반 생성형 AI 도입 사업’ 등 생성형 AI 도입에 나서는 중이다.

이러한 상황에서 생성형 AI 비즈니스에 적극 뛰어들고 있는 시스템 통합/시스템 관리(SI/SM)기업이 있다. 바로 금융 전문 IT 서비스기업 교보DTS다. 교보DTS는 생성형 AI 사업을 중심으로 대외 사업의 비중을 확대한다는 계획이다. 기존 클라우드 관리 서비스를 담당하던 인력과 AI 및 금융 AI 개발 인력, 보안 컨설팅·관제 인력을 통합한 ‘신기술사업본부’를 신설하며 조직도 정비했다. 교보DTS 이덕재 신기술사업본부장을 만나 생성형 AI 비즈니스 전략과 구축사례 등에 대해 들어봤다.

단순 SI 사업에서 신기술 기반 솔루션 중심 사업으로 전환

교보정보통신으로 잘 알려진 교보DTS(Digital Technology Service)는 교보생명그룹의 IT 계열사다. 관계사들의 디지털 기반 혁신을 선도하고 다양한 IT 기술을 지원하고 있다. 교보DTS는 관계사들의 디지털 혁신을 지원하기 위한 핵심 기술로 생성형 AI, 클라우드, 데이터 분석 등을 선정하고 역량을 결집해 IT 서비스를 제공하고 있다. 2024년 1월 1일부로 사명이 교보DTS로 변경됐다.

최근 교보DTS는 대외 시장 확대를 위해 생성형 AI 사업에 주력하고 있다. 교보DTS는 관계사는 물론 대외 생성형 AI 사업을 적극적으로 수주·이행하며 양적·질적으로 성장해 이를 바탕으로 금융 전문 IT 서비스기업으로의 도약을 꾀하고 있다. 특히 생성형 AI 사업은 기존의 단순한 시스템 개발 중심의 SI 사업을 디지털 기술 기반의 핵심 솔루션 중심 사업으로 전환하는 기회가 될 것으로 기대하고 있다.

교보DTS 이덕재 신기술사업본부장은 “통상 생성형 AI 사업은 클라우드나 자체 프라이빗 클라우드 기반 인프라는 물론 운영 자동화를 위한 LLM옵스(LLMOps), 데이터 전처리 및 내부 데이터를 벡터화해 구현하는 RAG(검색증강생성), 파운데이션 모델을 기반으로 만들어진 LLM, 프롬프트 환경(UI, 인터페이스), 애플리케이션(서비스) 등 전체를 통합해서 제공하는 형태로 이뤄진다.

개별 전문기업이 보유한 특화 솔루션을 통합해 묶고 연결해 제공해야 하기에 SI 사업에 가깝다. 소규모 사업의 경우 각 레이어에 필요한 솔루션을 도입하는 정도에서 그치지만, 이를 제외한 대부분은 SI 사업으로 발주될 것”이라면서 “교보DTS는 이에 발맞춰 생성형 AI 비즈니스를 토대로 대외 사업을 적극 확장하고자 한다”고 강조했다.

교보DTS는 생성형 AI 기반 대외 사업을 확대하기 위해 내부 조직도 새롭게 정비했다. 기존 클라우드 관리 서비스(MSP) 조직과 관계사 파견 인력, AI 및 금융 AI 개발 인력, 보안 컨설팅 및 관제 인력 등을 ‘신기술사업본부’로 통합했다. 이를 통해 클라우드부터 보안, 관제까지 생성형 AI에 요구되는 기술 사항을 유연하고 빠르게 풀스택(Full Stack)으로 제공한다는 목표다.

교보DTS는 2025년 전체 매출 목표액의 약 10%를 생성형 AI 사업으로 달성한다는 계획이다. 이덕재 본부장은 “아직 크지 않은 매출 규모이지만, 향후 기본 사업에 비해 지속적으로 높은 성장률과 수익성 확보에 기여할 수 있을 것으로 기대하고 있다”고 말했다.

다음은 교보DTS 이덕재 신기술사업본부장과의 인터뷰를 일문일답으로 구성한 것이다.

“2025년, 생성형 AI 기반 대외 사업 확장 ‘원년’”

Q. 생성형 AI 비즈니스에 힘을 싣는 이유는.
A. SI 비즈니스의 행태가 기존 단순한 시스템 개발 중심에서 디지털 기술 기반의 시스템 통합 중심으로 변화하고 있다. 디지털 기술 기반이 바로 생성형 AI와 클라우드다. SI 기업으로서 고객이 요구하는 신기술은 무엇이고, 이를 토대로 준비하는 사업을 예의주시하고 사전에 전략적으로 준비할 수밖에 없다. 현재 생성형 AI가 크게 부상하고 있다. 빅데이터의 경우 인기가 시들해졌고, 메타버스는 패션처럼 지나갔다. 단순 AI도 부상한 후 주춤했지만, 생성형 AI로 다시금 수요가 폭발하고 있다.

생성형 AI 사업이 SI형태로 발주되는 이유는 인프라부터 내부 데이터를 임베딩하는 벡터 DB(RAG 환경 구축) 구현 과정, LLM옵스, 내부 ERP 및 시스템으로부터 데이터 호출, 파인튜닝 등 작업을 통합해야 한다는 점 때문이다. 통상 생성형 AI는 인프라, LLM옵스, RAG 환경, LLM, 프롬프트 환경, 애플리케이션 서비스 등과 같은 각각의 레이어에 맞는 기술을 통합해야 한다. 이를 잘할 수 있는 사업자가 SI 기업이고, 사업 역시 SI로 발주될 수밖에 없다.

Q. 생성형 AI 비즈니스를 위한 기술적 역량은 어떻게 확보하고 있는가.
A. 교보DTS는 그룹 내 보험, 증권 등 관계사에서 생성형 AI 기술을 비롯한 금융 AI, 데이터 통합 플랫폼 등 기술을 내재화하고자 할 때 적극적으로 대응하면서 기술적인 역량을 확보하고 있다.

생성형 AI는 내부 직원과 고객 상담사들의 고객 대응에 필요한 업무 생산성을 향상하고 고객 만족도를 제고할 수 있도록 지원하는 영역에서 필요한 기술적인 역량을 확보하고 있다. 또한 금융 AI는 증권, 자산운용사 등에서 많은 관심을 한 몸에 받는 ‘퇴직 연금 자산 운용’에 필요한 로보어드바이저(RA) 관련 기술로 AI 퇴직연금 상품 출시를 위해 관련 AI 기술을 개발해 왔다. 이 과정에서 교보DTS는 교보생명, 증권과 함께 컨소시엄을 구성하기도 했다.

교보DTS는 이와 같은 그룹 내 다양한 관계사의 생성형 AI 사업 수행 경험과 차별화된 금융 특화 역량을 토대로 보험, 증권 시장에서 필요한 AI 서비스를 자동화하고 통합적으로 제공해 주는 금융 AI 에이전트 개발에 집중하고 있다.

Q. 금융 AI 에이전트라고 하는데, 정확하게 무엇을 의미하는가.
A. 금융 업무에 필요한 자동화 기능을 개발할 수 있는 ‘AI 요원(AI Agent)’이라고 이해하면 된다. 업무 처리를 자동화한다는 개념인 로보틱 프로세스 자동화(RPA) 관점에서 AI 에이전트를 바라볼 수 있지만, 조금 더 시야를 확대해 ‘개발’ 관점에서 바라보면 로우코드·노코드(LCNC)의 진화형에 가깝다.

금융 업무를 자동화하기 위해 새로운 서비스를 개발하려 할 때 인프라를 할당받고 많은 공수를 쏟아부어야 한다. 금융 AI 에이전트는 생성형 AI가 자동으로 인프라를 부여받고, 기능을 개발하고 생성형 AI를 연동해 자동으로 개발·설치·배포하는 것을 의미한다. 콘셉트는 생성형 AI를 활용해 업무에 필요한 AI 기능 및 환경을 만드는 것을 자동화하는 것을 의미한다. 사람의 개입을 최소화하는 것이다.

가령, 금융 AI 에이전트에 보험심사 자동청구 자동화 봇을 개발해달라고 주문한다면, AI 에이전트는 금융사가 보유한 보험심사 자동청구와 관련한 서류 데이터와 과거 업무 처리 사례 데이터, 도메인 놀리지를 LLM옵스, RAG, LLM, UI 등 기술 레이어에 접목해 보험심사 자동청구를 자동화할 수 있는 봇을 개발할 수 있다는 것이다. 물론 인프라를 할당하고 검수하는 등 인력의 개입이 조금은 필요할 수 있다.

이러한 AI 에이전트는 산업과 업무별로 특화돼 나올 것으로 예상된다. 실제로 금융을 비롯해 여러 산업군에서 AI 에이전트 사업, AI 에이전트 솔루션 구축 사업이 나오고 있다.

Q. 교보DTS의 생성형 AI 비즈니스 형태와 구조를 소개해달라.
A. 생성형 AI 비즈니스는 LLM 파운데이션 모델(FM) 운영, RAG 환경 구성, 데이터 전처리 등 많은 기술셋과 인력이 필요하다. 교보DTS는 단독으로 생성형 AI 비즈니스 기회를 만들고 수행하는 것이 아닌 각 영역에서 활동하고 있는 전문기업과의 긴밀한 협력을 통해 잠재 고객의 다양한 니즈를 생성형 AI 관련 기술을 통해 대응하고 지원할 수 있는 사업 구조를 준비하고 있다.

특히 공공, 금융기관과 같은 망분리 환경에서 자체 구축형으로 생성형 AI 환경을 도입하는 경우와 AWS, MS 애저와 같은 퍼블릭 클라우드 서비스를 통해 생성형 AI 환경을 도입하는 경우가 있다. 교보DTS는 이와 같은 두 가지 구축 환경을 모두 지원한다. 기존 대외 SI 사업 경험, 그리고 클라우드 MSP 서비스 제공 경험을 통해 자체 구축형과 클라우드 기반 생성형 AI 구축 환경을 지원한다.

이를 위해 지난해 하반기부터는 클라우드 사업 조직과 AI 기술 조직을 신기술사업본부로 통합해 시장의 생성형 AI 사업 확대에 선제적으로 대응하고 있다. AI 사업 수행을 위한 인력 구조는 금융 AI 개발 인력과 생성형 AI 사업 수행 인력 그리고 AI 관련 보안 인력 등 수많은 전문가들로 구성돼 있다.

금융 AI 개발 인력은 로보 어드바이저 관련 기술 개발 및 운영 인력으로 구성돼 있고, 현재 교보생명을 비롯한 관계사에 관련 서비스를 제공하고 있다. 생성형 AI 수행 인력은 내부 데이터 활용을 위한 자동화된 데이터 수집, 전처리 프로세스 등 RAG 환경 구축을 위한 솔루션을 개발하고 구축하고 있다. 보안 인력은 금융기관에서 클라우드 기반의 생성형AI 서비스 도입을 위해 필요한 사전 보안 환경 검토, 솔루션 제공, 클라우드 서비스 안전성 평가 등 금융 클라우드 이용 보고 지원 업무를 수행하고 있다.

Q. 생성형 AI는 데이터를 비롯해 많은 지식이 요구된다. 기술 인력에 대한 교육은.
A. 내부 직원들에 대한 교육을 적극적으로 권장하고 있다. 자체적으로 실험해보고 학습하며 체득하는 기술 지식과는 별개로 생성형 AI를 위한 클라우드 인프라, RAG, LLM 옵스 등과 관련해 전문기업으로부터 교육받고 있다. LLM 평가, LLM에 대한 보안의 중요성이 부상함에 따라 대만 기업인 사이메트릭(Cymetric) 제품 유통사업을 추진할 계획이다. 최근 사이메트릭이라는 오픈소스 기반 LLM 평가 및 LLM 보안 전문기업에 연수를 보내거나 방문해 교육을 받고 있다.

“향후 생성형 AI 사업은 멀티·하이브리드 기반 생성형 AI로 나올 것”

Q. 여러 LLM이 존재하는데, 고객들에게 어떤 모델을 추천하는가.
A. 기본적으로 교보DTS는 고객사의 IT 환경과 생성형 AI 도입 업무에 부합하게 LLM 모델을 추천하고 있다. 여기에는 다양한 생성형 AI 서비스 특성에 맞는 적절한 LLM 모델이 존재할 수 있다. 사전에 고객이 기획, 검토하는 AI 서비스 내용과 목적에 맞는 LLM 모델들로 하여금 좋은 결과를 얻기 위해 충분히 테스트도 하고 있다.

만일 고객이 ‘내부 구매 업무 품의 자동화를 위한 생성형 AI’를 구축한다고 가정해보면, 여기에 적합한 ‘I사’의 생성형 AI 서비스와 모델을, 혹은 ‘홍보 업무를 위한 뉴스레터 생성 자동화를 위한 생성형 AI’라고 한다면, 특정 메일 공지를 보내는 데 이용되는 LLM을 추천할 수 있다. 고객이 구축하려는 생성형 AI의 기능에 일치하는 LLM이나 비슷한 기능을 수행할 수 있는 LLM을 추천하고 있다.

Q. 주로 SI 사업에서 단일 LLM만 발주되는가.
A. 지난해 금융권 N사, H사, G공제조합에서 발주됐던 생성형 AI 도입 및 구축 사업의 경우 전부 특정 목적에 부합하는 LLM을 복수로 제공하도록 명시했다. 어떠한 생성형 AI 사업이라고 하더라도 단일 LLM만을 요구하는 사업은 없을 것이다.

구체적으로 프라이빗 클라우드 기반 LLM 모델을 복수 개로 제공해야 하는 사업들이 대부분이고, 가끔 퍼블릭 클라우드 기반 LLM과 프라이빗 클라우드 기반 LLM 모델을 함께 요구하는 사업도 존재한다. 이러한 경우에는 내부 고객 정보 데이터는 내부에 GPU를 두고 프라이빗 클라우드를 구현해 LLM 모델을 설치해 활용하고, 약관과 같은 외부 데이터는 퍼블릭 클라우드 기반 LLM으로 구동하려 한다. 현재 이러한 하이브리드 형 생성형 AI 구축 사업을 국내 유명 생명보험사들에서 준비하고 있는 것으로 알고 있다.

프라이빗 클라우드 기반 생성형 AI 구축 사업의 경우 GPU 기반 인프라와 LLM 모델 등에 대한 비용 부담이 크다. 인프라의 경우 이미 너무 비싸다고 알려졌다. 하지만 LLM 모델 비용도 만만치 않다. LLM으로 유명한 국내 중소기업의 경우 소규모 SI 사업에 참여하며 LLM 가격으로 10억 원을 제시하는 등 과하게 비싸다는 의견도 있다. 규모가 있는 대기업들이 LLM을 자체적으로 조달할 수 있는 역량을 키우는 이유이기도 하다. 40억 원 규모의 N은행의 생성형 AI 구축 및 도입 사업을 L사가 30억 중반으로 수주했는데, LLM을 저렴하게 조달할 수 있었기 때문이라는 후문도 있다.

Q. 퍼블릭 클라우드 기반 LLM이라고 하더라도 데이터에 대한 처리 과정은 필요할 것 같다.
A. 그렇다. 퍼블릭 클라우드 기반 LLM은 인프라와 RAG 일부를 클라우드 서비스 제공사(CSP)들이 제공하는 클라우드 서비스로 구현할 수 있다. 가령 AWS의 경우, 클라우드 GPU 인프라와 놀리지베이스(벡터DB) 기능을 제공하는 ‘포스트그레SQL’ 및 ‘오픈서치’ 등을 지원하고 있다. 때문에 프라이빗 클라우드 기반 LLM을 제공하는 것보다 난이도가 쉬운 편이다.

하지만 데이터 전처리는 남아있다. 생성형 AI가 데이터라는 재료를 잘 흡수하기 위해 데이터를 청킹(Chunking)해 문서를 메타데이터화 하거나 표를 데이터에 넣는 등 일련의 데이터 정제작업을 수행해야 한다. 청킹은 검색 성능을 향상하기 위해 긴 문장을 짧게 분할하는 것을 의미한다. 통상적으로 토큰 레벨 청킹(Token Level Chunking)이 많이 쓰인다. 이 외에 문장 레벨 청킹(Sentence Level Chunking), 의미 레벨 청킹(Semantic Level Chunking) 등이 존재한다.

Q. 퍼블릭 클라우드 기반 LLM만 도입할 경우 비용 지불 체계는.
A. 퍼블릭 클라우드 사용료와 생성형 AI 서비스 사용료가 함께 청구되는 방식이다. AWS와 MS 애저가 이러한 형태로 비용을 청구하고 있다. AWS 인프라를 비롯해 베드록이나 오픈서치 DB 등 서비스 이용료와 토큰 기반 LLM 사용료가 함께 청구된다.

“구축 외 보안 및 신뢰성, 전사 거버넌스 및 프로세스 정립에도 신경써야”

Q. 고객에게 제안하는 생성형 AI 구축과정을 소개해달라.
A. 일반적으로 생성형 AI 환경은 인프라, LLM모델, AI 엔지니어링 도구, 애플리케이션 네 개의 핵심 레이어로 구성될 수 있다. 먼저 생성형 AI 구축을 위한 인프라의 경우, 자체 모델 훈련에 관심이 없는 기업이라면 챗GPT와 같은 모델을 사용한 다음 벡터 DB를 통해 회사 데이터를 활용할 수 있다.

자체적으로 구축하기보다는 외부 클라우드 서비스 기반의 생성형 AI 플랫폼을 사용하려는 기업일 경우 AI 서비스 활용을 위한 보안과 신뢰성 관점에서의 검토 과정이 반드시 필요하다. 그리고 추후 다양한 LLM 모델 교체가 가능하도록 높은 유연성을 가진 아키텍처를 제시하고 지속적인 생성형 AI 서비스 운영 역량 확보 및 내재화를 위해 AI 특화된 기술 운영팀의 역량을 강화하는 과정도 요구된다.

이와 함께 성공적인 생성형 AI 서비스 운영을 위한 마지막으로 과정은 고품질의 데이터를 지속적으로 확보하는 절차를 갖추는 것이다. AI 관련 프로젝트의 성공을 위해서는 데이터 정제, 검증, 보강과 같은 데이터 품질 확보에 집중해야 한다. PoC와 파일럿 프로젝트를 마친 후 AI 모델을 구축하고 실제 운영 단계에서 데이터를 효율적으로 관리하고 확보할 수 있는 전사적인 거버넌스와 프로세스를 정립하는 데에 집중해야 한다.

Q. 생성형 AI의 가치를 비즈니스와 운영 측면에서 소개해달라.
A. 수요 기업 관점에서 생성형 AI의 본질적 가치는 신규 사업 개발과 같은 비즈니스적 가치와 업무 프로세스 자동화, 최적화로 비용 절감에 기여하는 운영 혁신 측면의 가치가 있다고 판단된다. 비즈니스적 가치는 실시간으로 고객 잠재 수요를 탐지하고 즉시 해결할 수 있는 것으로, 예를 들면 생성형 AI를 활용하여 기존 상품, 서비스를 기반으로 신규 사업 모델을 발굴하거나 기존 고객 상담 인력에 대한 상담 지원을 통해 상담사 대응 수준 상향 평준화에 도움이 된다.

운영 모델 측면의 가치는 기존 업무 프로세스에 대해 사람의 개입이나 실수를 최소화할 수 있는 자동화, 최적화로 비용 절감이 가능하게 한다. 금융, 보험업에서는 자동 심사 즉각 청구 처리 프로세스 간소화, 사기 및 이상 징후 탐지 등이 대표적인 생성형 AI 적용 사례다.

Q. 올해 AI 사업이 확대될 것으로 보인다. 협력 체계는 어떻게 구성했는가.
A. 공공분야 사업들이 규모와 상관없이 생성형 AI라는 이름을 달고 나오고 있다. 보험이나 금융 사업을 수행하며 축적한 노하우를 살려, 비슷한 규제가 존재하는 공공분야를 공략할 계획이다. 교보DTS가 대기업 상호출자제한기업으로 분류되기에 소프트웨어 진흥법에 맞춰 예외 사업 위주로 참여하고자 한다. 물론 컨소시엄이나 하도급을 통해 들어가 사업을 수행할 수 있는 역량이 있어 이와 관련된 사업도 찾고 있다.

교보DTS는 기업 간 영역별 주요 기업들과 협력 모델을 만들고 있다. SI 기업이 단독으로 사업을 수행하기 힘들 경우 주요 솔루션 기업에 협력을 제안하거나, 혹은 고객으로부터 제안받은 특정 영역의 기업이 교보DTS에 협조를 요청할 수도 있다. 교보DTS는 몇 가지 종류의 생성형 AI 솔루션 표준 모델을 사전에 만들어 놓고 제안할 수 있는 형태의 비즈니스도 준비중이다.

Q. 교보DTS가 수행한 생성형 AI 구축사례를 소개해달라.
A. 라이프플래닛생명의 사례를 들 수 있겠다. 라이프플래닛생명은 교보그룹의 관계사로 국내 최초 온라인 전용 보험사다. 라이프플래닛생명의 경우 교보DTS와 함께 상담사가 사용 중인 통합 채팅 플랫폼을 통해 상담 응대 과정에서 요구되는 고객과의 상담 이력, 보험 가입 정보 등을 생성형 AI를 통해 제공하는 ‘옴니 채널 세일즈 플랫폼 구축’ 사업을 진행했다.

이번 프로젝트에 적용된 생성형 AI 서비스는 고객 상담에 대한 음성, 채팅 내용을 자동으로 요약하고, 고객의 보장분석 정보를 적시에 제공하는 데 초점을 맞췄다. 이를 통해 상담사의 업무 부담을 줄여 신속하고 정확하게 고객 상담을 지원해 세일즈 성과 창출에 기여했다. 또한 고객 나이대별 데이터, 보장 분석 데이터, 상품 가입 추세 등 다양한 데이터를 비교해 상품을 추천하고 상품 리모델링 서비스를 제공하는 고도화 사업을 진행하고 있다.

또한 교보생명은 교보DTS와의 협업을 통해 사내 지식관리시스템, 전자금융감독 규정 등 답변의 정확성이 요구되는 지식검색 및 답변을 위한 내부 생성형 AI 서비스를 구축해 운영하고 있다. 특히 LLM API를 연동, 내·외부 시스템 통합이 가능하여 다양한 AI 서비스를 구현할 수 있으며, 기존 내부 시스템 연계 시에 내부 표준 보안 규정과 민감 정보 보호 규정을 준수하여 운영하고 있다.