챗GPT 비롯, 생성형 AI 이용 '사칭' 범죄 폭발 우려

[아이티데일리] 보이스 피싱 범죄 중에는 아내 또는 자녀를 유괴했다며 몸값을 요구하는 전화가 많다. 범죄에 취약한 계층은 속아 넘어가 거액을 송금한다. 현명한 사람은 아내 또는 자녀에게 전화하거나 위치를 파악해 무사함을 확인하고 경찰에 신고한다.

그렇다면 챗GPT와 같은 생성 AI를 이용해 아내 또는 자녀의 목소리 클론을 만들어 낸다면 어떨까. 속지 않을 사람이 몇이나 될까. 몸값을 지불하려고 돈을 보내는 사람은 지금보다 몇 배 늘어날 가능성이 높다.

이러한 범죄의 가능성을 생각하면 AI로 작성한 콘텐츠에 관한 가장 중요한 과제 중 하나는 그 콘텐츠가 진짜임을 증명하는 라이선스 기능의 도입이다. 이미 미국에서는 로이터통신 등 다수의 외신이 보도한 대로 대선을 앞두고 생성 AI를 이용한 불법 선거가 일어날 가능성이 제기됐다.

뉴욕타임스는 미 상원 청문회에서 챗GPT를 상용화한 오픈AI의 샘 알트만 CEO가 AI의 위험을 우려하면서 규제를 위한 허가제 도입을 제안했다고 보도했다. 이 소식은 CNN등 다수의 외신들도 앞다퉈 보도했다. 정부가 표준 규제를 만들어 생성 AI 개발을 허가하거나 취소할 수 있어야 한다는 것이다.

AI 일인자로 꼽히는 제프리 힌튼은 생성 AI 기술이 인류에 미칠 악영향을 우려해 알파벳 구글을 퇴사했다. 그는 CBS뉴스에서 “나는 최근까지 인간이 실현 가능한 모든 지적 작업을 이해 학습 실행할 수 있는 범용 AI가 탄생하는 시점을 2050년 경으로 보았지만 그 시간은 대폭 단축될 것으로 본다. 이는 큰 문제이며 우리는 이 상황에 어떻게 대처할지 생각해야 한다”고 강조했다.

포브스 보도에 따르면 힌튼은 사람들이 생성 AI 기술을 관리하는 방법을 숙지하는 것이 매우 중요하다고 지적했다. 테크 업계와 정부 관리자의 상당수가 AI가 인류에게 중대한 결과를 가져올 것을 우려하고 있다.

뉴스 사이트 9투5맥닷컴(9to5mac)은 사람의 목소리 복제에 대해 “AI의 목소리 복제를 이용한 사기는 예로부터 있어 왔지만, 최근 급격히 증가하고 있다. 앞으로 범죄자들은 형성 AI로 사랑하는 사람의 목소리를 복제해 긴급사태를 가장, 금전을 요구하거나 몸값을 요구할 것”이라고 경고했다.

형성 AI를 이용한 목소리 복제 작성 도구는 저렴한 가격으로 입수할 수 있다. 범죄자들에게 악용되기 쉽다는 얘기다. 목소리는 SNS에서 얼마든지 샘플로 입수할 수 있다. 사람들이 온라인으로 음성을 공유할수록 범죄자에게 복제될 위험이 높아진다.

복제 및 위장 문제는 내년 대선에서 더욱 악화될 것으로 예상된다. 선거사범들이 AI를 사용해 정치인이나 정치 분석가, 나아가 일반 시민의 목소리를 복제해 유언비어를 퍼뜨릴 수 있다. 이들의 목적은 갈등을 부추기거나 후보자 선거 운동에 피해를 주는 데 있다.

최근 급속히 보급된 얼굴인식 등 생체 인증의 구조가 AI를 이용한 위장으로 돌파될 가능성도 있다. 시큐리티매거진은 “얼굴인식은 수많은 인증 시스템의 핵심이며 범위를 빠르게 확장하고 있다. 스마트폰이나 노트북의 잠금장치 해제에도 이용된다. 문서 서명 수단으로도 사용된다. 사이버 범죄자가 얼굴 인증의 인증 구조에서 약점을 찾아내 악용할 것이 틀림없다. 불행이도 이는 기술적으로 쉽다”고 지적했다.

형성 AI가 작성한 콘텐츠를 판별하기 위한 워터마크나 디지털 식별자 도입이 시급하다. 개발 프로젝트도 시행되고 있다. 그러나 AI 스크리닝에 사용될 수 있게 되는 시기는 아직 불투명하다. 그러나 워터마크를 적용하지 않으면 생성 AI를 사용해 허위 또는 부정확한 콘텐츠가 대량으로 만들어질 수 있다. 이는 사회 구조에 엄청난 악영향을 초래할 수 있다는 경고다.