RAG 기반 대용량 문서 처리 및 향상된 코딩 성능 지원

[아이티데일리] IBM은 왓슨x.ai(watsonx.ai)에서 미스트랄 라지(Mistral Large) 모델을 제공한다고 25일 밝혔다.

인공지능(AI) 개발자를 위한 기업용 AI 스튜디오인 왓슨x.ai는 IBM의 ‘그래니트(Granite)’ 모델 외에도 다양한 오픈 소스 및 상용 모델 선택이 가능하다. 이를 용도에 따라 변형하거나 비즈니스 솔루션 및 애플리케이션과 통합해 사용할 수 있다.

IBM이 자사 기업용 AI 스튜디오인 왓슨x.ai에서 ‘미스트랄 라지’ 모델을 제공한다. (사진=IBM)

IBM은 이미 왓슨x.ai 내에서 기업 환경에 적용할 수 있는 소규모 모델인 ‘미스트랄-8x7B(Mixtral-8x7B)’를 제공 중이다. IBM이 최적화한 해당 모델은 주어진 시간 내 처리할 수 있는 데이터의 양이 기존 모델 대비 50% 향상됐다.

새롭게 추가된 미스트랄 라지는 서비스형 소프트웨어(SaaS)로 먼저 제공된다. 검색 증강 생성(RAG) 전문화를 통해 더 장시간의 채팅 상호작용과 대용량 문서 처리가 가능하며, 사용자 정의 함수나 API와 같은 외부 도구에 연결할 수 있다. 또 뛰어난 코딩 성능으로 특정 용도에 맞는 애플리케이션을 쉽게 구축할 수 있다. 책임감 있는 AI 구축을 위해 안전장치로 사용할 수 있는 ‘가드레일(guardrail)’ 기능도 내장했다.

아울러 기업들은 왓슨x 플랫폼에서 미스트랄 라지와 함께 프롬프트 랩, 모델 튜닝, 프로세스 모니터링 및 거버넌스 기능을 포함한 추가적인 엔터프라이즈 지원 제품을 활용할 수 있다. 이를 통해 사용자는 특정 플랫폼에 종속되지 않고 온프레미스(사내 서버)나 퍼블릭 클라우드 제공업체 등 원하는 환경에서 왓슨x.ai 내 모델을 배포할 수 있다.

IBM은 왓슨 플랫폼에 미스트랄 AI의 상용 모델을 제공함으로써 개방형 멀티 모델 전략을 더욱 확장하고 기업이 혁신, 변화, 확장할 수 있도록 지원한다는 계획이다. 또 책임감 있는 기업 혁신에 기여하고자, 한도형 지적 재산권 보상 제도를 통해 미스트랄 라지에 대한 고객 보호를 제공한다.

회사 측은 이는 IBM이 자사의 그래니트 모델에 대한 고객 보증 제도를 적용한 이래, 제3자 파운데이션 모델까지 확대한 첫 사례라고 밝혔다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지