교육 AI 학회 EDM에서 딥러닝 연구논문 채택

[아이티데일리] 뤼이드가 교육 시장에서 딥러닝 기술의 실질적 효과를 입증해 냈다.

뤼이드는 자사 연구진이 제출한 딥러닝 기반 점수예측 모델의 학습 참여도 향상효과 검증에 대한 논문이 EDM(Educational Data Mining)에 정식 논문으로 채택됐다고 1일 밝혔다.

EDM은 효과적인 학습 환경을 제공하기 위한 머신러닝 및 데이터 과학 기반 연구를 선도하는 교육 인공지능(AI) 학회다. 올해 행사는 ‘학습자의 학습 성과 개선’이라는 주제로 오는 7월에 온라인으로 개최된다.

뤼이드는 올해 EDM에 자사의 딥러닝 관련 연구 결과를 담은 논문(논문명 ‘Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement’)을 제출했다. 뤼이드의 AI 토익 튜터 ‘산타’에서 두 가지 점수 예측 모델에 대한 AB테스트를 진행한 결과, 더 높은 정확도의 딥러닝 점수예측 모델 적용 시 사용자의 학습 참여도가 높아지고 결과적으로 비즈니스의 성장을 견인한다는 것을 밝혀냈다.

특히 이번 논문은 딥러닝 기술의 적용이 학습자에 미치는 긍정적 영향을 실제 학습 환경에서 입증해낸 전향적 연구라는 점에서 큰 의미를 갖는다. 통제된 연구실에서 실험한 결과가 아닌 실제 서비스 환경에서 실사용자를 통해 밝혀낸 결과인 만큼 보다 현실적이라는 평가다. 해당 논문의 리뷰어는 “예측모델 연구와 이를 통한 실질적 가치 및 이익을 연결해낸 훌륭한 사례 연구”라고 평가했다.

뤼이드 연구진은 지난 1월 한 달간 ‘산타’ 유저 78,000명을 대상으로 AB테스트를 진행했다. 한 그룹은 자체 연구 개발한 딥러닝 점수예측 모델을, 다른 그룹은 기존 점수 예측 모델을 적용했고, 대상자들이 문제를 풀 때마다 실시간으로 자신의 예상 점수를 확인할 수 있도록 했다.

실험 결과, 딥러닝 모델의 실험군이 기존 모델을 적용한 실험군 보다 학습참여도를 보여주는 총 6가지의 지표에서 일관되게 높은 수치를 보였다. ‘진단고사 완료율’, ‘서비스 가입률’, ‘서비스 가입 후 문제풀이 수’는 각각 1.49%, 3.29%, 13.48% 더 높았으며, 보다 적극적인 학습 참여도 측정 지표인 ‘결제 전환율’, ‘사용자당 평균 매출’, ‘전체 매출’에서도 각각 15.19%, 14.13%, 13.98% 더 높은 수치를 기록했다.

▲ EDM에 채택된 뤼이드 AI 연구진의 논문 일부

논문의 제1저자인 이영남 뤼이드 연구원은 “딥러닝을 연구하는 AI 연구원들도 이 기술을 어느 분야에 적용해 어떻게 임팩트를 만들어낼 것인지에 대해 구체적인 답을 하기 어려운데, 뤼이드에서는 기술 연구와 실제 서비스 운영이 밀접하고 유기적으로 기능하기 때문에 이번 연구가 가능했다”며, “이번 연구는 딥러닝을 실제 고객 서비스에 직접 적용하고 이를 통한 소비자 행동변화 및 비즈니스 영향력을 확인한 사례 연구”고 말했다.

장영준 뤼이드 대표는 “딥러닝 기술의 실질적인 효과 검증 없이 시장을 설득하는 것은 한계가 있다”면서, “뤼이드는 앞으로도 산업적 파급력을 기반으로 AI를 연구하고, 빠른 상용화를 통해 기술의 실제 효과를 증명하면서 학계 및 산업계 모두가 주목하는 새로운 사례들을 만들어 나갈 것”이라고 말했다.

한편, 이번 실험에 적용된 딥러닝 점수예측 모델은 뤼이드가 자체 연구 개발한 트랜스포머 기반의 ‘어세스먼트 모델링’으로 구현한 새로운 점수 예측 모델이다. 정확한 점수 예측에 필요한 실제 시험점수 데이터의 부족을 해결하기 위해 학습 플랫폼에서 생성되는 유저의 문제풀이 데이터를 모델에 예비학습(pre-train)시키고 이를 점수 예측에 맞게 정교화(fine-tune)하는 기술을 제안했다. 이를 적용한 점수예측 모델은 기존 모델 대비 MAE(Mean Absolute Error) 기준 36.8%높은 예측 정확도를 보였다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지