[아이티데일리] 모티프테크놀로지스(Motif Technologies, 대표 임정환)는 프롬 스크래치(from scratch)로 개발한 파운데이션 소형언어모델(sLLM) ‘모티프 2.6B(Motif 2.6B)’를 오픈소스로 허깅페이스에 공개한다고 10일 밝혔다.

모티프 2.6B는 26억 개의 매개변수(파라미터)를 가지고 있으며, AMD가 개발한 인스텔라를 제외하고 ‘AMD 인스팅트 MI250’ GPU 기반으로 구현한 최초의 AI 파운데이션 모델로 GPU 1개로 추론이 가능한 점이 특징이다.

이번에 공개된 소형언어모델(sLLM)은 모티프테크놀로지스의 모회사인 AI 인프라 전문기업 모레(Moreh)가 설립 초기부터 추구해 온 GPU 효율적 활용과 클러스터링 SW 최적화 기술을 기반으로 개발된 경량화 고성능 AI 모델이다.

모티프테크놀로지스는 보다 정확한 성능 비교를 위해 각 개발사가 공개한 테크니컬 리포트의 점수와 설정값을 동일하게 적용해 벤치마크 점수를 산출했다. 그 결과 모티프 2.6B는 70억 개 매개변수를 가진 미스트랄 (7B) 대비 134%의 성능을 보였으며, 특히 고성능을 요하는 고난도 수학 및 과학, 코딩 능력에서 상대적으로 높은 점수를 기록했다.

더불어 동급인 1B~3B 모델과의 비교에서도 구글 젬마1(2B) 대비 191%, 메타 라마 3.2(1B) 대비 139%, AMD 인스텔라(3B) 대비 112%, 알리바바 큐원 2.5(3B) 104%로 우수한 성능을 보였다.

또한 회사 측은 모티프 2.6B의 문맥 이해 능력을 강화한 점이 가장 큰 기술적 특징이라고 강조했다. 잘못된 문맥을 참고해 부정확한 문장을 생성하는 오류를 줄이고 필수적인 핵심 문맥에 집중하도록 설계했으며, 트랜스포머(Transformer) 구조의 핵심인 어텐션(Attention) 기술로 좀 더 적절하게 단어를 사용할 수 있는 구조를 적용했다.

모티프테크놀로지스 임정환 대표는 “최근 가트너는 기업의 소형언어모델 사용량이 2027년까지 LLM의 3배가 넘을 것으로 예측했다. 소형언어모델은 저전력으로 구동되고 슈퍼컴퓨터 없이 운영이 가능해 비용 효율성이 매우 높아 실제 산업 현장에서 다양한 적용이 가능하기 때문”이라며 “이번에 선보인 Motif 2.6B를 활용해 우리 일상에서 사용할 수 있는 온디바이스 AI, 에이전틱 AI 모델로 발전시켜 나갈 것”이라고 말했다.