NIA가 공개한 학습용 데이터 활용해 테스트 진행…70% 이상 정확도 보여

[아이티데일리] 스켈터랩스(대표 조원규)가 자사 인공지능(AI) 기반 대화엔진의 인텐트(intent, 의도) 분류에 대한 성능 테스트 결과를 20일 공개했다.

스켈터랩스는 지난 6월 한국정보화진흥원(NIA)이 AI 학습용으로 공개한 250만 건의 데이터 중 10만 건의 한국어 대화 데이터를 활용해 테스트를 진행했다. 해당 테스트는 총 600개의 인텐트를 대상으로 스켈터랩스의 대화엔진과 글로벌 기업 A·B사의 엔진을 비교했다. 그 결과 스켈터랩스는 72%, 글로벌 A사와 B사는 각각 64%, 65%의 F1 스코어(F1 Score)를 기록했다.

F1 스코어는 정밀도(precision)와 재현율(recall)을 모두 고려한 종합값으로, AI 기술의 분류 평가 수치 중 하나다. F1 스코어가 높다는 뜻은 그만큼 질문의 의도를 정확히 파악한다는 의미다.

스켈터랩스의 대화엔진은 규칙 기반(Rule-based) 의도 분류와 머신러닝 기반(Machine learning-based) 의도 분류를 복합적으로 활용한다. 규칙 기반 의도 분류는 소량의 샘플 문장만으로도 의도 규칙을 자동으로 생성하고, 머신러닝 기반 의도 분류는 규칙만으로 처리하기 어려운 문장 변이 패턴 모델링을 가능하게 한다. 이를 통해 비서나 챗봇 등 대화형 에이전트를 구축할 경우 설계자가 예측하지 못한 변칙적인 대화에서도 의도를 정확하게 파악해 낼 수 있다는 설명이다.

조성진 스켈터랩스 CTO는 ““이번 테스트로 글로벌 기업 대비 탁월한 인텐트 분류 정확도를 확인했고, 특히 600개 인텐트로 70%가 넘는 수치를 기록한 것은 스켈터랩스 대화엔진의 높은 실용적 가치를 의미하는 고무적인 결과”라며, “이는 AI 기술 고도화에 집중해온 노력의 산물이라고 생각하며, 앞으로도 한국어 외의 다양한 언어에 적용했을 때도 유사한 수준의 정확도를 실현할 수 있도록 기술 수준을 높여갈 계획”이라고 말했다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지