[아이티데일리] 챗GPT를 위시로 생성형 인공지능(AI)이 빠르게 확산하고 있다. 기업들은 비즈니스의 새로운 활로를 모색하고자 생성형 AI 도입에 전사적인 노력을 기울이고 있다. 정부도 생성형 AI를 국내 산업계에서 활용할 수 있도록 지원사업을 펼치며 확산의 마중물 역할을 자처하고 있다. 학습된 데이터를 토대로 결과물을 생성하는 생성형 AI 모델을 도입하고 활용하기 위해서는 데이터 수집과 저장, 모델 학습을 하나의 프로세스로 체계화하는 등 데이터 전략이 필요하며 그에 따른 다양한 문제를 해결해야 한다.

본지(컴퓨터월드/IT DAILY)는 2024 데이터 컨퍼런스의 주제를 ‘생성형 AI와 빅 데이터 + α’로 설정하고, 국내 기업과 공공기관에게 생성형 AI를 적용하기 위해 필요한 데이터 수집, 저장, 학습 등 제반 과정부터 생성형 AI에 대한 심도 있는 인사이트를 제공할 수 있는 컨퍼런스를 개최했다. 데이터 컨퍼런스 현장으로 들어가 본다. 

바이텍씨스템의 윤광연 데이터사업 2본부 상무는 ‘시행착오 없이 비즈니스 효과를 극대화할 수 있는 AI 빅데이터 플랫폼’을 주제로 발표했다. 본격적인 발표에 앞서 윤광언 상무는 AI 기술 타임라인을 소개했다.

1950년 앨런 튜링은 ‘튜링 테스트’로 AI 연구 초석을 다졌다. AI 논문은 존 매카시가 처음으로 발표했다. 이후 1987년에 AI 암흑기가 찾아왔다. 닫힌 AI로는 충분한 성능을 발휘하지 못했고, 이에 다양한 AI 기업들이 폐업했다. 이후 인터넷이 보급돼 다양한 데이터가 공유되기 시작하면서, 여러 AI 서비스가 출시됐다. 특히 최근에는 컴퓨팅 자원이 고도화되면서 알고리즘 성능이 대폭 늘었고, 생성형 AI로 확대되고 기술이 고도화됐다.

윤광연 상무는 바이텍씨스템의 솔루션 프로바이더(Solution Provider) 역할을 소개했다. 바이텍씨스템은 스노우플레이크의 ‘클라우드 기반 데이터 플랫폼’, 인포메티카의 ‘클라우드 기반 데이터 관리 플랫폼’, 태블로의 ‘데이터 분석 플랫폼’ 등 서비스를 공급하고 있다.

스노우플레이크의 클라우드 데이터 플랫폼은 정형, 반정형, 비정형 데이터 등 유형에 관계 없이 모든 데이터를 통합 저장 및 관리할 수 있다. 특히 AWS, MS 애저, 구글 클라우드 플랫폼 등 어느 환경에서도 동일한 사용자 환경을 제공하며, 사용자 개입 없이 데이터를 75~90% 압축할 수 있고 컴퓨팅 레이어에서의 부하분산 및 병렬처리(MPP)도 가능하다. 아울러 ‘스노우플레이크 생성형 AI’ 기능도 추가됐다. 도큐먼트 AI부터 프롬프트 엔지니어링 기능, ‘코텍스’, ‘오케스트레이션’ 등을 클라우드 데이터 플랫폼에서 함께 제공한다.

인포매티카의 ‘인포매티카 인텔리전트 데이터 매니지먼트 클라우드(IDMC)’는 클라우드 기반 데이터 관리 플랫폼으로 데이터 통합, 품질 관리, 카탈로그, 기준정보관리 등이 하나의 플랫폼에서 통합적으로 제공된다. 스노우플레이크의 제품이 데이터를 수집하고 활용하는 데 강점이 있다면, 인포메티카의 솔루션은 코딩, 전문 기술 없이 대량의 데이터를 적재, 동기화하는 데 특화된 솔루션이다.

세 번째는 태블로의 데이터 분석 솔루션이다. 태블로 솔루션은 다양한 출처로부터 데이터를 수집하고, 데이터를 연결/정제/결합하며, 데이터 탐색/시각화/분석, 공유 및 협업 등 기능을 제공한다.

마지막으로 바이텍씨스템은 인포매티카 IDMC 내 ‘클레어(Claire)’라는 AI 엔진을 소개했다. 클레어는 AI 기반 메타데이터 인텔리전스와 자동화를 제공해 데이터 관리를 혁신적으로 변화할 수 있다. 크게 ‘코파일럿(Copilot)’과 ‘GPT’ 등 2가지로 구성됐다. 클레어 코파일럿은 데이터 관리 작업을 자동화하고 인텔리전스를 제공해 데이터 관리 효율성과 정확성을 극대화한다.

자동화 기능 안에는 대량 데이터 정정 기능을 통한 데이터 정합성 유지, 복잡한 비즈니스 규칙을 자동으로 변환해 적용하는 기능, 데이터 스키마를 자동으로 매핑해 데이터 통합을 간소화하는 기능 등이 포함돼 있다.

인텔리전스 기능에는 데이터셋 간의 컬럼 유사성을 분석해 데이터 간 관계를 이해할 수 있게 해주는 컬럼 유사성 기능과 이상 데이터를 자동으로 감지해 데이터 품질을 향상하는 기능이 포함된다. 스마트 데이터 시각화 기능을 통해 데이터를 시각적으로 분석해 중요한 인사이트도 제공한다. 데이터 관리 자동화 기능은 활성화된 메타데이터를 통해 자동화된 데이터 관리 기능을 제공함으로써 수작업을 줄이고 운영 효율성을 높인다.

클레어 GPT는 인포매티카 IDMC에서 제공하는 자연어 인터페이스 솔루션이다. 이 도구는 생성형 AI를 활용해 사용자들이 데이터 관리 작업을 더욱 쉽게 수행할 수 있도록 지원한다. 주요 기능으로 △자연어로 질문을 입력해 필요한 데이터를 찾는 ‘데이터 검색(Ask)’ △자연어 명령을 통해 다양한 데이터 작업을 수행할 수 있는 ‘데이터 탐색(Discover)’ △복잡한 데이터 관리 작업을 자동화해 데이터를 생성하는 ‘데이터 생성(Generate)’ 등이 있다.