생성형 AI가 만드는 아동학대 영상 급증…오픈AI 등 업계 맞대응 조치 시작

[아이티데일리] 영상을 만들어 내는 생성형 AI 플랫폼 보급 확산이 AI로 생성한 아동의 성적 학대 콘텐츠(CSAM)의 급증으로 연결되고 있다고 국립실종학대아동방지센터(NCMEC)가 최근 보고서에서 밝혔다.

포브스 보도에 따르면 2023년 이 센터의 민원접수 창구에 접수된 CSAM 관련 신고는 3620만 건으로 전년의 3200만 건에서 크게 증가했다. 이는 코로나19 대유행 이전인 2019년의 2배 이상에 달하는 수치다. 3620만 건 중 약 5000건이 생성 AI를 이용한 이미지라고 판단됐지만, 실제 건수는 그 이상으로 추정된다.

NCMEC의 신고 접수창구 담당자 팰런 맥널티는 “보고 건수 전체로 보면 상당히 적은 것처럼 보이지만, 우리가 우려하는 것은 감시 기관의 모니터링 성능과 기술의 향상에 따라 앞으로 적발 건수가 계속 증가할 것”이라고 말했다.

최근 1년 사이에 AI를 이용한 영상 생성 플랫폼이 불법적인 성적 학대 영상 작성에 사용되고 있다는 보고가 현저하게 증가하고 있다. 딥페이크를 이용한 누드 사진은 미국 전역의 중고생들을 흔들고 있다.

게다가 시장에서 가장 인기 있는 일부 이미지 생성 도구는 자사 AI 모델 훈련에 불법 CSAM을 사용하고 있다. 이와 관련, 미국 검찰은 최근 AI가 생성한 아동 성인물을 제작해 유통한 용의자를 기소하기도 했다. 생성형 AI와 관련한 최초의 형사 사건 중 하나로 기록됐다.

NCMEC 맥널티에 따르면 최근 일부 생성 AI 관련 기업들이 CSAM을 추적하고 규제하기 위해 이들과 협력하기 시작했다고 한다. 그 움직임에 앞장서고 있는 회사는 챗GPT와 텍스트로부터 영상을 생성하는 도구인 DALL-E를 개발한 오픈AI다. 회사는 작년부터 NCMEC와 아동 성착취에 대한 공동 대응을 시작했으며, 최근 첫 회의에 대한 보고서를 제출했다.

오픈AI에 이어 앤트로픽과 스태빌리티AI도 동참했다. 이들을 통해 문제가 되는 콘텐츠가 어떻게 생성되는지에 관한 보다 명확한 사실이 규명되고 있다고 한다. 맥널티에 따르면 이 같은 콘텐츠 대부분은 주로 SNS 앱을 이용해 확산되고 있으며, 이미지 생성에는 오픈소스 모델이 사용되거나 플랫폼 밖에서 생성되는 경우가 많다고 한다.

NCMEC이 SNS 기업으로부터 받은 보고 중에는 어떤 AI 모델이 사용됐는지를 상세히 보여주는 게시물과 댓글, 해시태그, 채팅로그 등이 포함돼 있다.

맥널티는 AI가 이토록 빠르게 발전하고 신속하게 보급됨에 따라 이 같은 콘텐츠가 폭발적으로 확대되고, 대응에 고심하는 규제기관의 시스템을 마비시킬 것을 우려하고 있다. 또 AI가 생성한 인공적인 CSAM과 진짜를 구분하기 어려워지고 있는 것도 새로운 난제로 등장하고 있다.

몇몇 대형 생성 AI 기업은 NCMEC와의 협력에 동의하고 있지만, 사진을 누드로 바꾸는 앱 등 일부 소규모 플랫폼과의 협력은 이뤄지지 않고 있다고 맥널티는 걱정했다.

NCMEC에 전해지는 생성 AI를 이용한 CSAM에 관한 신고는, 올 1분기의 경우 매달 약 450건에 이르고 있다고 한다. 상황은 앞으로 더욱 악화될 것으로 우려되고 있다.