스태빌리티AI 개발 ‘스테이블 디퓨전’, 대량 아동 학대 영상으로 LLM 모델 훈련
[아이티데일리] 텍스트에서 이미지를 생성하는 생성 인공지능(AI) 도구인 스테이블 디퓨전(Stable Diffusion)이 방대한 양의 불법 아동 성학대 영상을 사용해 LLM(대규모언어모델)을 훈련된 것으로 스탠퍼드 인터넷 관측소(Stanford Internet Observatory) 조사에서 밝혀졌다고 포브스지가 보도했다. 스테이블 디퓨전은 평가액이 10억 달러에 달하는 스타트업 스태빌리티AI(Stability AI)가 개발한 인기 높은 영상 생성 AI 도구 중 하나로 알려져 있다.
스테이블 디퓨전은 방대한 양의 오픈 데이터 세트로 훈련되어 있어 사용자가 텍스트로 프롬프트를 입력하면 사실적인 이미지가 생성된다. 스탠퍼드대 연구자들은 스테이블 디퓨전을 비롯한 도구들이 학습에 사용하고 있는 수십억 개의 이미지로 구성된 대규모 공개 데이터셋 'LAION-5B'에 아동 성학대 이미지가 다수 포함돼 있다는 것을 발견했다.
이번 조사는 스탠퍼드 인터넷 관측소의 기술자인 데이비드 틸이 주도했다. 조사 보고서는 “유감스럽게도 스테이블 디퓨전 1.5 학습 프로세스의 영향은 향후 당분간 계속될 것”이라고 밝히고 적절한 안전 대책이 마련돼 있지 않은 스테이블 디퓨전 1.5로 만들어진 도구 및 이미지의 사용을 중지할 것을 호소했다.
보도에 따르면 연구팀은 공개된 훈련 데이터 중 CSAM(아동 성학대 소재) 의심 영상을 3000점 이상 발견한 것으로 알려졌다. 조사가 이뤄진 것이 9월 이후인 데다 수십억 개의 이미지 중 일부만 대상으로 하고 있다는 점을 감안할 때, 실제 사용된 양은 더 많을 가능성이 높다고 한다.
조사는 마이크로소프트가 제공하는 포토 DNA라는 도구를 사용해 이뤄졌다. 이 도구는 전미실종피착취아동센터(NCMEC)와 캐나다아동보호센터가 관리하는 데이터베이스 상의 CSAM 단편과 문제의 이미지를 비교해 디지털 지문을 대조할 수 있다. 두 기관은 얻은 정보를 경찰에 통보하는 역할을 담당하고 있다.
스태빌리티AI에서 공공정책을 담당하는 벤 브룩스 책임은 “회사는 AI 악용을 막는 데 책임을 지고 있으며, 회사 도구를 이용한 이미지와 서비스를 CSAM 편집, 작성 등 불법 행위에 사용하는 것을 금지하고 있다”고 강조했다.
스태빌리티AI 규칙은 동사의 모델을 “아동 착취 콘텐츠의 권유, 작성, 입수, 보급을 포함한 아동 착취나 위해에 사용해서는 안 된다”라고 규정하고 있다. 회사는 스테이블 디퓨전의 새로운 버전을 출시, 안전하지 않은 원색적 소재를 학습 데이터와 아웃풋에서 제외하는 등의 조치를 강구하고 있다. 브룩스에 따르면 스태빌리티AI는 안전하지 않은 프롬프트나 결과 출력을 차단하는 필터를 추가했다. 회사는 또 플랫폼 상에서 생성된 이미지를 식별하는 데 도움이 되는 콘텐츠 라벨링 기능도 구현해 AI 악용을 어렵도록 보완했다.
그럼에도 불구하고 스탠퍼드대 연구팀은 스테이블 디퓨전 학습용 데이터에 아이들의 불법 콘텐츠가 포함돼 있었다고 주장했다. 이들 콘텐츠 중에는 게시판 사이트 레딧, X(옛 트위터), 워드프레스 등 CSAM을 허용하지 않는 사이트에서 추출된 불법 이미지도 포함돼 있었다. 이런 종류의 AI 도구는 가짜 CSAM을 생성하는 데 악용될 수 있다. 스태빌리티AI는 NCMEC가 관리하는 '사이버팁라인'에 CSAM 혐의를 보고하지 않은 것으로 알려졌다.
보고서에 따르면 LAION 데이터 세트로 훈련된 모델은 스테이블 디퓨전 1.5 이외에도 존재한다. 또 다른 인기 영상 생성 AI인 '미드저니(Midjourney)'도 LAION-5B를 사용하고 있다. 구글의 '이매진(Imagen)'은 LAION-400M이라는 데이터 세트로 훈련됐지만, 개발자들이 데이터에 문제가 있는 이미지나 스테레오 타입을 발견했기 때문에 "일반 이용에 적합하지 않다고 판단했다"고 보고서는 밝혔다.
스탠퍼드대가 스태빌리티AI 도구에 주목한 것은 대규모 오픈소스 모델로 훈련 데이터를 공개하고 있기 때문인데, 다른 도구들도 같은 LAION-5B 데이터 세트로 훈련됐을 가능성이 높은 것으로 알려졌다. 이 분야는 투명성이 낮아 누가 같은 데이터로 도구를 훈련했는지 파악하기 어렵다.
보고서는 생성 AI 모델에서 소재를 삭제하는 것은 가장 어려운 과제라고 지적한다. 실재하지 않는 아동의 이미지 등 AI가 생성한 콘텐츠 중에는 법적으로 불투명한 영역의 것도 있다. 미연방 검찰총장은 아동 성학대나 해당 데이터 마이닝을 보호하는 연방법이 생성 AI의 진화를 따라가지 못하고 있는 것을 우려, AI가 생성한 CSAM에 대처하기 위한 조치를 취해야 한다고 의회에 요청했다.
이번 조사에 협력한 캐나다아동보호센터는 방대한 데이터셋 정리에 대한 주의 부족이 애플과 틱톡 등 모든 빅테크들을 괴롭혀온 CSAM 문제를 악화시키고 있다고 우려했다. 이는 또 다른 소송 우려도 낳는다. 미국에서는 아티스트들이 자신들의 창작물이 AI 훈련에 부당하게 사용됐다며 스태빌리티AI와 미드저니 등 여러 테크 기업을 상대로 소송을 제기하고 있다.