[아이티데일리] 인터넷에 생성형 AI로 만들어진 아동의 성적 학대 이미지(CSAM)가 크게 늘고 있다. CSAM을 효과적으로 걸러내는 방법은 없을까. 그 해결책을 제시하고 있는 한 스타트업이 기업가치 평가 20억 달러를 돌파해 주목받고 있다.

주인공은 샌프란시스코에서 창업한 하이브(Hive)다. AI 스타트업 하이브의 CEO 케빈 궈는 홈페이지에 게재한 ‘2025년 딥페이크 트렌드 및 위험 예측’ 보고서에서 올해는 생성형 AI가 만들어 낸 아동 성적 학대 가짜 이미지가 급증할 것이라고 전망하고, 회사의 AI 모델의 감시 서비스가 CSAM를 효과적으로 배제할 수 있을 것이라고 언급했다.

인터넷 감시 재단과 함께 온라인상에서 아동의 안전을 보호한다는 것이다. 회사는 최근 영국 비영리단체인 인터넷워치파운데이션(IWF)과 손잡고 고객 사이트에서 CSAM을 식별하고 삭제하기 위한 기능을 강화하겠다고 발표했다.

기계 학습 모델을 이용해 유해 컨텐츠를 식별하고 알려주는 하이브의 AI 시스템은 게시판 레딧이나 SNS 블루스카이 등에서 사용되고 있다. 회사의 홈페이지에는 이들을 비롯해 월마트 크립토닷컴, 베인, 컴스코어, 비자, 킥, 비 리얼, 코그니잰트 등 유명 회사들의 명단을 공개하고 있다. 고객사가 400개에 이른다고 한다. 미 국방부도 고객이다.

하이브는 앞으로 IWF의 데이터를 정기적으로 AI 모델에 통합할 계획이다. 이 데이터는 CSAM을 게재하고 있는 약 8000개의 웹사이트 리스트, CSAM에 대한 감시를 피하기 위해 범죄자들이 사용하는 고유의 문구 또는 키워드 리스트도 포함돼 있다. 하이브의 고객은 IWF의 해시(수백만 건의 위법 영상 및 동영상의 디지털 지문)에 접근할 수 있다.

하이브는 지난해 CSAM의 검출 기술을 개발하고 있는 미국의 비영리단체 손(Thorn)과도 제휴했다. 회사는 이 제휴로 데이터와 정보가 보강돼 고객 플랫폼에서 더 많은 위해 콘텐츠를 삭제하는 것이 가능해졌다.

생성형 AI 도구의 등장으로 인해 불법 이미지 생성은 더 용이해졌다. IWF는 CSAM을 게재한 사이트를 사법기관에 고발하고 있는데, 그 건수는 2023년 27만 5000건으로 역대 최고를 기록했다.

궈는 보고서 소개 글에서 “수년 전까지는 CSAM이 일반적이지 않아 구하기가 비교적 어려웠지만, 사진이나 동영상을 생성하는 AI 엔진에 의해 아동 성적 학대 콘텐츠가 폭발적으로 늘고 있다”고 우려했다.

생성형 AI가 만든 콘텐츠 급증은 하이브로서는 성장의 기회가 됐다. 포브스에 따르면 2020년 이후 회사 매출액이 무려 30배나 늘었다고 한다. 하이브가 처리하는 콘텐츠는 매월 100억 개에달한다. 지난달 하이브와 240만 달러 규모의 계약을 맺은 국방부는 직원들이 다양한 곳으로부터 받은 음성, 동영상, 텍스트 기반 콘텐츠가 진짜이고 신뢰할 수 있는지를 검증하고 있다.

나아가 최근 몇 년 사이, 자동차 범퍼의 사진에 생성형 AI로 파손 이미지를 만들어 덧붙여 보험사에 사기 청구하는 사례가 급증하고 있어 하이브에 대한 보험 업계의 관심도 높아지고 있다.

한편 CNN은 트럼프 대통령이 바이든의 가짜영상 규제 정책을 폐지했다고 보도했다. 그러나 인터넷에서의 아동의 안전에 대한 이슈는 초당적인 문제이기 때문에 아동 유해 콘텐츠의 감시 및 배제는 이어질 것으로 예상된다.

2014년 설립된 하이브는 소셜미디어 앱을 운영하다가 2017년 감시 도구 제공으로 사업을 전환했다. 홈페이지에 따르면 회사의 AI 모델은 유해 콘텐츠 식별 외에도 로고 식별, 유명인 안면 식별, 온라인으로 공유되는 영화나 TV 프로그램 해적판의 검출 등도 제공하고 있다.