[아이티데일리] 한국지능정보사회진흥원(NIA, 원장 황종성)는 업스테이지(대표 김성훈)와 공동 운영하는 ‘오픈 코-LLM(Open Ko-LLM) 리더보드’에 평가 지표를 추가하고 업그레이드해 운영할 예정이라고 11일 밝혔다.

오픈 코-LLM 리더보드는 지난해 9월 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 관심을 받고 있다. 지난 5월 말까지 참여한 거대언어모델(LLM) 수가 1,500개를 넘어섰고, 최고 점수는 70.7점을 기록했다.

이는 최고점 81.2점을 기록하며 세계적으로 인정받고 있는 허깅페이스(Hugging Face) LLM 리더보드에 근접한 수치로, 한국어 LLM이 발전하고 있음을 입증하는 결과라는 게 NIA 측 설명이다.

NIA와 업스테이지는 오픈 코-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표를 추가해 운영할 계획이다.

이번에 추가하는 지표는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가 지표 중 ‘추론 능력’ 및 ‘산출 추론 능력’ 두 개 지표다. 해당 지표를 한국어에 맞게 적용함으로써, 한국어 모델의 성능 평가 체계를 국제 평가 기준과 대등한 수준으로 끌어올린다는 계획이다.

추가 지표는 AI 언어 데이터 전문기업인 플리토가 참여해 한국어에 맞게 번역·개발을 지원했다.

NIA 황종성 원장은 “NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표 및 체계를 지속적인 개선할 방침”이라며 “이를 통해 국내외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이뤄질 것으로 기대하고 있다”고 말했다.

업스테이지 박찬준 리더는 “한국의 LLM 평가의 표준으로 인정받는 만큼, 책임감 있는 운영을 위해 지속적으로 NIA와 노력하겠다”고 밝혔다.

이번 업그레이드는 6월부터 적용되며, AI허브 사이트의 리더보드 메뉴에서 확인할 수 있다.