모델 성능 향상을 위한 새로운 정규화 방법론 제시

[아이티데일리] 이스트소프트(대표 정상원)는 글로벌 딥러닝 컨퍼런스 ‘표현학습국제학회(ICLR) 2020’에서 자사의 연구성과를 발표하는 논문을 발표했다고 29일 밝혔다.

올해로 8회째를 맞는 ICLR은 전 세계 인공지능(AI) 컨퍼런스 중 가장 큰 규모를 자랑하는 학회다. 코로나19 여파로 지난 26일부터 내달 1일까지(현지시간) 온라인을 통한 가상 컨퍼런스를 개최한다.

이스트소프트는 기업부설연구소 AI플러스랩을 통해 ‘와서스테인(Wasserstein) 거리 기반 확률분포 매칭을 통한 신경망의 은닉 유닛 정규화 기법(주태종, 강동구, 김병훈)’을 발표했다. 해당 연구논문은 딥러닝의 핵심 기술인 정규화 기법에 대한 연구 성과를 다루고 있다. 기존에 사용되던 통계 기반 방법론이 확률분포의 다양한 특성을 반영하지 못하는 한계를 극복하기 위해, 와서스테인 거리를 응용해 확률 공간에서 직접적으로 정규화를 하는 방법론을 제안한다.

해당 방법론은 딥러닝 모델이 학습 과정에서 과학습(Overfitting)되는 현상을 방지함으로써 모델의 성능을 향상시키는 효과가 있다. 실제로 해당 방법론을 이미지 분류 및 자연어 처리 분야에 적용한 결과 벤치마킹 성능이 향상된 것으로 나타났다.

변형진 이스트소프트 AI플러스랩 금융파트 수석은 “해당 기법을 자사 AI 투자 알고리즘의 포트폴리오 최적화 모형에 핵심 기법으로 사용 중”이라며, “금융 데이터 특성 상 다른 데이터들과 차별화된 복잡한 확률적 특성을 갖기 때문에, 금융 알고리즘에 해당 기법을 적용했을 때 모델이 특정 시기의 복잡한 패턴을 외우지 않고 여러 기간에서 공통적으로 일어나는 간단한 패턴을 효과적으로 발견해내는 성과가 나왔다”고 말했다.

▲ ICLR 2020에서 발표된 이스트소프트 AI 연구 논문
저작권자 © 아이티데일리 무단전재 및 재배포 금지