[아이티데일리] 미국 위스콘신 주의 한 남성이 생성형 인공지능(AI)으로 만든 아동 성적 학대 콘텐츠(CSAM)를 미성년자와 공유한 혐의로 기소됐다. 이 사건은 최근 보고가 잇따르는 AI로 생성한 아동 포르노가 얽힌 형사 사건 중 하나라고 포브스지가 보도했다.

인구 5만 명의 위스콘신주 라크로스 카운티 검찰은 피의자가 인스타그램에서 이미지 생성 AI인 스테이블 디퓨전(Stable Diffusion) 1.5를 사용해 어린이 성인물 영상을 만들었다고 밝혔다. 기소장에 따르면 그는 생성형 AI로 작성한 아동 포르노로 의심되는 영상을 100점 이상 소지하고, 그중 2점을 인스타그램에서 알게 된 15세의 소녀와 공유했다고 한다.

포브스가 확인한 채팅 기록 중 피의자는 스테이블 디퓨전을 사용해 이미지를 작성했다고 밝힌 바 있다. 그는 이를 시인하고 자신이 “프롬프트를 만들고 파라미터를 조정했다는 점에서 내가 작성한 것이라고 말할 수 있다"라고 말했다. 이 채팅은 인스타그램의 모회사인 메타(Meta)에 의해 당국에 제공됐다.

피의자는 아동을 유해 콘텐츠에 노출했다는 혐의에 더해, 13세 미만 아동과의 성적 접촉 등 두 가지 혐의로 기소됐다. 그러나 이후 그는 무죄를 주장했고, 5만 달러의 보석금을 내고 풀려났다. 그의 변호사인 제니퍼 로는 코멘트 요청에 응하지 않았다.

스태빌리티AI의 엘라 어윈 부사장은 이 영상은 2022년 10월 AI 스타트업 런웨이ML(Runway ML)이 개발해 출시한 스테이블 디퓨전 1.5 버전으로 작성되었을 가능성이 높다고 말했다.

미국 실종피착취아동센터(NCMEC)의 팰런 맥널티 책임자는 AI가 생성한 CSAM에 대한 보고에서 스테이블 디퓨전이 가장 자주 접하는 플랫폼 중 하나라며 최소 100건의 보고에서 언급되고 있다고 지적했다.

기술 기업이 CSAM을 감지하거나 그 존재를 알았을 경우, 그것이 실재하는 아동의 것이든 AI가 생성한 것이든, 연방법에 근거해 NCMEC에 의무적으로 보고해야 한다. 그러나 NCMEC의 존 세한 부사장은 최근 의회 증언에서 ”대부분의 기업에서 대응이 미흡하고 도구 악용에 대한 경각심도 낮다“고 말했다.

스태빌리티AI는 콘텐츠에 대해 강력한 규제를 하고 있다고 주장한다. 회사의 이용약관에는 ”이용자는 유해하거나 불법적인 활동을 위탁할 수 없으며, 동의 없는 누드나 불법 포르노 콘텐츠를 만들 수 없다“고 명시돼 있다.

회사는 2022년 11월 신모델인 스테이블 디퓨전 2.0을 출시해 콘텐츠에 대한 제한을 강화했는데, 이는 일부 사용자들의 반감을 사기도 햇다. ICT 전문 매체 더버지는 버전 2.0에서의 변경은 과거 버전이 아동학대 이미지를 만드는 데 사용된 것이 주된 요인이라고 보도한 바 있다. 그 과정에서 주요 스테이블 디퓨전 개발자들은 스태빌리티AI를 떠났다. 또 스탠퍼드대 연구자들이 스테이블 디퓨전 1.5가 불법 아동 포르노로 훈련되고 있다는 사실을 발견하기도 했다.

스태빌리티AI는 "당사 플랫폼에서 CSAM이 확인된 사례는 파악하지 못했지만 필요시 NCMEC에 보고할 것을 약속한다"고 말했다. 그러나 회사는 아직 그 프로세스에 착수하지 않았다고 NCMEC의 맥널티는 말했다. 스태빌리티AI도 이것이 사실임을 인정하고, 등록하지 않은 이유는 "현시점에서 보고가 필요한 콘텐츠가 존재하지 않기 때문"이라고 했다.

위스콘신주 사건은 인기 있는 AI 도구가 불법적인 성적 학대 콘텐츠를 만드는 데 사용된 일련의 사건들 중 가장 최근의 것이다. 지난해 11월 노스캐롤라이나주의 한 남성이 미성년자 성착취와 웹 기반 AI 도구를 사용해 CSAM을 작성한 혐의로 40년 실형을 선고받았다. 한 달 전에는 켄터키주의 남성이 13건의 CSAM 소지 죄를 인정했다.

최근 의회 청문회에서 NCMEC의 세한은 지난해에 보고된 AI에 의해 생성된 CSAM가 4700건에 달한다고 말했다. 이는 이 단체가 지난해 받은 전체 3600만 건 중 극히 일부이지만, 보고수가 날로 증가해 심각성은 더하고 있다.

한편 스탠퍼드인터넷관측소(SIO)의 연구자인 리아나 푸페펠콘은 생성형 AI로 가상 어린이 CSAM을 만든 용의자를 기소하는 것이 기존의 CSAM 사건보다 더 어렵다고 우려했다. 실재 인물에 근거하지 않은 가공의 어린이 영상을 소지하거나 생성하는 것은 법적으로 죄를 묻지 못하는 회색지대에 해당할 수 있기 때문이다.