[아이티데일리] 물리학회지 ‘Cell Reports Physical Science’에 최근 발표된 기계 학습 도구 '챗GPT 감지기'가 화학 등 과학 논문을 작성할 때 챗GPT를 사용했는 지의 여부를 쉽게 알아낼 수 있는 것으로 나타나 주목받고 있다고 네이처지 온라인판이 전했다.

챗GPT 감지기는 기존의 몇몇 인공지능(AI) 탐지기보다 성능이 뛰어난 것으로 밝혀졌으며, 이 특수 분류 및 감별기는 학술 출판사가 AI 텍스트 생성기, 즉 생성 AI로 만든 논문을 식별하는 데 큰 도움이 될 수 있을 것이라는 평가다.

연구팀원인 로렌스 캔자스 주립대의 화학자인 헤더 디자이어는 “대부분의 텍스트 분석 분야에서는 전천후로 작동할 수 있는 일반적인 검출기도 필요하지만 특정 유형의 연구 보고서에 초점을 맞춘 정확한 도구가 절실한 시대”라고 말했다. 챗GPT를 이용한 논문 작성이 급속도로 확산되고 있기 때문이다.

선보인 챗GPT 감지기는 소프트웨어를 특정 유형의 논문들에 맞게 조정함으로써 검증을 강화할 수 있게 됐음을 시사한다. 이를 통해 다양한 분야로 확장 구축하는 것도 가능하다는 부연 설명이다.

챗GPT 탐지기는 지난 6월 과학 저널에 동료 학자들의 검토 전 버전으로 처음 실렸다. 감지기는 기계 학습을 사용하여 문장 길이의 변화, 특정 단어 및 문장 부호의 빈도 등 글쓰기 스타일의 20가지 특징을 검사, 연구자가 텍스트를 작성했는지, 챗GPT를 활용해 썼는지를 확인한다. 보고서에 따르면 "연구 결과, 높은 수준의 정확도를 얻을 수 있었다"고 한다.

탐지기의 분석 대상은 미국 화학학회(ACS)에서 발행한 10개 화학 저널 논문의 서문 부분이었다. 탐지기는 이 부분에 대해 집중 교육을 받았다. 서문을 선택한 이유는 챗GPT로 서문을 작성하기가 매우 쉽기 때문이었다.

동일한 저널에서 사람이 작성한 서문과 AI가 생성한 서문을 테스트한 결과, 탐지기는 제목을 기반으로 챗GPT 3.5로 작성된 부분을 100%의 정확도로 식별했다. 초록을 기반으로 챗GPT에서 생성된 소개문의 경우 식별 정확도는 98%로 약간 낮았다. 탐지기는 최신 버전의 챗봇인 챗GPT 4.0이 작성한 텍스트와도 잘 작동했다.

반면 AI 탐지기 제로GPT는 약 35~65%의 정확도로 AI로 작성된 서문을 식별해 냈다. 챗GPT 공급사인 오픈AI가 제작한 텍스트 분류 도구도 성능이 좋지 않았다. 약 10~55%의 정확도에 불과했다.

발표된 챗GPT 탐지기는 훈련되지 않은 저널의 서문 대상으로도 좋은 성능을 발휘했으며, AI 탐지기를 혼동하기 위한 메시지를 포함해 다양한 프롬프트에서 생성된 AI 텍스트를 포착해 내는 데 성공했다.

다만 이 시스템의 한계라고 할 수 있는 것은 과학 저널 기사에만 특화되어 있다는 점이다. 논문이 아닌 대학 신문 기사를 제시했을 때는 구별하지 못했다.

베를린에서 학술 표절을 연구하는 컴퓨터 과학자 드보라 웨버-울프는 “기존의 많은 도구는 글쓰기 스타일의 특징을 살피기보다는 AI가 생성한 글쓰기의 예측 텍스트 패턴을 검색하여 저자임을 결정한다. 챗GPT에서 스타일 메트릭을 사용할 생각은 한 번도 해본 적이 없다. 그런 점에서 이번 연구 성과는 의미가 크다"고 말했다.