[아이티데일리] “딥페이크 기술은 혁신의 경이로움이자 심각한 위협으로 부상했다.”

케빈 궈 하이브(Hive) CEO는 최근 펴낸 보고서 ‘딥페이크 현황: 2025년 트렌드 및 위협 예측’ 발간사에서 이렇게 이야기했다. 그러면서 “하이브는 AI 기반 사기의 정교함이 점점 더 높아지고 전 세계 산업, 정부, 개인에게 미치는 영향의 확대를 직접 목격했다. 딥페이크는 더 이상 바이러스성 영상에 국한되지 않는다. 이제는 범죄 활동, 금융 조작, 지정학적 불안정화의 도구가 되었다”고 지적했다. 2025년에는 이런 딥페이크 사기 및 부적절한 영상이 정교하게 제작돼 유포될 것으로 전망했다. 보고서의 내용을 요약해 정리한다.

◆ 기술 발전

2024년은 생성형 AI 모델의 발전과 사실적인 합성 미디어를 만드는 도구의 접근성 증가로 인해 딥페이크 기술이 빠르게 발전한 해였다. 이러한 발전은 딥페이크의 품질, 효율성, 실시간 기능이 크게 향상되어 더욱 설득력이 높아지고 감지하기 어렵게 되었다.

2023년의 딥페이크는 주로 사전 녹화로 만들어졌다. 높은 수준의 사실성을 확보하기 위해 몇 시간 또는 며칠 동안 작업하고 처리해야 했다. 그러나 2024년 들어와 생성형 적대적 네트워크(GAN)와 확산 모델의 획기적인 발전으로 실시간 딥페이크를 만들 수 있게 되었다.

결과적으로 악의적인 행위자는 매우 설득력 있는 동영상 및 음성 조작 콘텐츠를 즉석에서 제작할 수 있었고, 영상 통화나 방송 중에 라이브를 사칭한 공격의 길을 열었다. 예를 들어, 사기꾼은 이제 가상 회의 중에 실시간으로 임원을 모방해 사기와 기만의 위험을 증폭할 수 있다.

◆ 개선된 해상도와 진위성

2024년에 만들어진 딥페이크는 부자연스러운 조명, 어색한 표정, 립싱크 불일치 등의 시각적 매끄러움이 현저히 감소했으며, AI 모델은 피부 질감, 눈 깜박임 패턴, 음성 억양과 같은 미묘한 세부 사항을 포착하는 데 더 능숙해졌다. 이에 따라 합성 미디어를 현실과 거의 구별할 수 없게 되었다. 이러한 품질의 도약은 더 큰 데이터 세트, 더 정교한 신경 구조, 음성 또는 표정 합성과 같은 특정 애플리케이션에 대한 미세 조정 모델을 활용해 달성됐다. AI에의 접근 및 자동화의 용이성 향상으로 인해 한때 기술에 정통한 프로그래머의 영역이었던 것이 2024년에는 일반 대중에게도 널리 공개됐다.

오픈소스 도구와 딥페이크 서비스 플랫폼이 급증해 기술적 전문 지식이 필요 없는 사용자 친화적인 인터페이스를 제공했다. 이 플랫폼은 클라우드 기반 AI 기능을 통합해 사용자가 몇 분 안에 딥페이크를 생성할 수 있도록 했다.

이제 단순히 사진이나 오디오 샘플을 업로드하기만 하면 된다. 기술의 민주화로 인해 악의적인 행위자가 많은 자산이나 지식 없이도 현실적인 위조 콘텐츠를 만들 수 있게 되면서 딥페이크 사건이 증가했다.

◆ 다른 AI 기술과의 융합

2024년 딥페이크의 정교함은 다른 AI 기술과의 통합으로 더욱 증폭되었다. GPT-4와 같은 자연어 처리(NLP) 모델은 영상 및 음성 딥페이크 도구와 결합되어 개인의 외모, 음성 및 대화 스타일을 모방할 수 있는 대화형 AI 페르소나를 만들었다. 이 융합을 통해 실시간 고객 서비스 사칭이나 대화형 동영상 기반 사기와 같은 애플리케이션이 가능해졌으며, 딥페이크가 라이브에도 설득력 있게 대응할 수 있다.

◆ 2025년 위협 예측

딥페이크 기술은 2025년에 놀라운 수준의 정교함에 도달, 합성 미디어를 현실과 구별할 수 없게 만들 것이다. 생성형 AI 모델의 발전으로 훨씬 더 적은 계산 노력으로 매우 사실적인 콘텐츠를 제작할 수 있게 될 것이다. 이는 합성 미디어의 제작 비용 절감 및 속도 향상으로 이어진다. 이는 악의적인 행위자가 이러한 도구를 악용해 라이브 커뮤니케이션을 조작함으로써 사전 녹화된 딥페이크에서 실시간 대화형 애플리케이션으로의 전환을 예고한다.

발전은 기존의 신원 확인, 범죄 수사 및 공공 안전 방법에 부담을 줄 것이다. 금융 기관, 중요 인프라 및 정부 운영은 특히 취약하다. 기술은 악의적인 딥페이크에 대응할 실시간 감지 기능이 없는 영역에서 신뢰를 파괴하고, 보안을 손상한다. 무기화되기 때문이다.

금융 시장을 움직이기 위해 컨퍼런스콜에서 회사 임원을 사칭하든, 허위 정보를 유포하든, 악의적인 행위자는 차익 거래를 통해 이익을 실현하게 된다. 2025년에는 더 많은 악의적인 행위자에게 실행 가능할 수 있는 가상의 위협이 증가한다.

실시간 대화형 딥페이크의 부상은 AI 기반 사기의 새로운 시대를 연다. 공격자는 영상 통화나 스트리밍 플랫폼과 같은 실시간 대화 중 특정인을 사칭할 수 있다. 우리는 이미 특정 사례에서 이러한 기술이 배치되는 것을 보았다. 이는 훨씬 더 널리 퍼질 것으로 예상된다. 이러한 기능은 고위험 사회 공학 공격, 사기 또는 심지어 간첩 행위에도 악용될 수 있다.

대중을 현혹시키는 미디어 사기가 우려되는 시점이다. 2025년에는 개인이 실제 장소와 인물의 가짜 ‘실시간 스트림’을 만들어 공포를 조장하거나 뉴스 보도를 조작하는 이벤트가 만들어질 가능성이 있다.

응급 요원들에 대한 오도 가능성이 높다. 실시간 딥페이크 음성을 사용하여 집주인의 목소리를 모방해 무장 침입자나 인질 상황을 신고하고 경찰이 대응하도록 만든다. 딥페이크 기술은 이렇게 악용될 가능성이 높다. 전력망, 상수도 시스템 등 중요 인프라 운영자를 딥페이크로 조작할 수도 있다.

범죄자들은 ​​실시간 대화형 동영상 딥페이크를 사용해 위기 상황에서 친지 또는 지인을 사칭하고, 피해자에게 몸값을 지불하도록 강요하거나 실시간 통화 중에 민감한 정보를 누설한다. 이는 생성형 AI 콘텐츠의 악용으로 더욱 확산될 가능성이 높다.

딥페이크는 더욱 설득력 있는 사칭을 통해 개인과 조직을 표적으로 삼는다. 직원을 속여 민감한 시스템에 대한 접근 권한을 부여하는 것부터 개인적 관계를 조작하는 것까지, 이런 공격은 디지털 커뮤니케이션에 대한 신뢰를 침식한다. 이는 이미 금융 범죄에 사용되었다. 딥페이크 기술의 단계적 진화는 이러한 사기의 효율성을 높이고 조직, 특히 중소기업과 금융 기관의 보안 대책을 무력화할 것이다.

공공기관 또는 기업 임원을 사칭한 대화형 딥페이크는 회사의 재무 실적에 대한 허위 정보를 유포헤 시장을 움직일 수 있다. 공격자는 당연히 시장에서 수익을 얻게 된다. 이미 지난해에 컨퍼런스콜 사후 조작을 포함한 활동이 감지됐다.

회사 CEO의 실시간 딥페이크 동영상은 CFO에게 엄청난 금액을 사기 계좌로 이체하라고 지시한다. 라이브 영상 통화 중에 거의 사실적으로 임원을 사칭하므로 사기는 상당 기간 탐지되지 않는다. 공격자는 이미 이러한 유형의 공격으로 성공하기도 했다. 올해는 유사 사례가 더욱 증가할 것이다. 법원 절차, 공공 혜택 또는 신분증 제공과 같은 실시간 정부 기능에 영향을 미치는 딥페이크의 사용이 제한적으로 나타나기 시작했다. 이 역시 올해는 확산될 것이다.

대중적인 인물을 묘사한 라이브 딥페이크 영상은 2025년에 우려되는 영역이다. 대중 인물 발언 조작은 군사적 맥락, 외교 협상 또는 대중 감정을 부추기는데 사용될 수 있다. 잔혹 행위, 민간인 억압 또는 도덕적으로 의심스러운 활동에 참여하는 적대 세력의 딥페이크가 증가할 가능성이 높다.

딥페이크 감지 도구의 사용이 부진하기 때문에 다양한 딥페이크 콘텐츠 전략이 성공할 가능성이 높아진다. 올해는 딥페이크 도구가 크게 발전하고 악의적인 사용 사례가 증가할 전망이다. 이러한 발전은 정책 입안자, 조직 및 대중에 새로운 과제를 창출한다. 동시에 기존 위협을 악화시킬 가능성이 높다.

딥페이크 기술의 부상은 디지털 시대의 신뢰와 보안에 대한 중대한 도전이다. 위협의 범위를 이해하고 사전 조치를 실행함으로써 기관, 경제, 사회를 가장 해로운 영향으로부터 보호할 수 있다.