현태소 분석기, 색인 효율성 및 품질 높여
형태소 분석기는 검색엔진, 자동분류기, 정보수집기 등 언어처리를 통해 정보를 처리하는 검색솔루션의 품질을 좌우하는 핵심 모듈이다.
와이즈넛은 지난 2003년에 개발한 한국어 형태소분석기에 이어 일본어 및 중국어 형태소 분석기를 개발, 한국어∙일본어∙중국어가 포함된 문서를 각각의 언어에 맞는 형태소분석기로 색인 할 수 있어 색인의 효율성과 검색의 품질을 높일 수 있게 됐다.
회사측은 일본어 형태소 분석기는 멀티플랫폼 지원, 사용자ㆍ동의어ㆍ불용어ㆍ금칙어 사전 지원, 일본어 표기의 흔들림 대응 및 라이브러리 API 등의 다양한 기능을 제공하고, 중국어 형태소 분석기는 세그멘테이션 및 품사 태깅기능 지원, 동의어ㆍ불용어 처리와 멀티플랫폼 지원이 특징이라고 설명했다.
와이즈넛 강용성 이사는 "이번에 개발한 일본어 형태소 분석기는 글로벌 업체의 형태소 분석기를 적용한 것보다 색인시간을 약 50% 단축할 수 있다"고 말했다.
차향미 기자
chakitty@itdaily.kr