구글 생성형 AI ‘제미나이’ 악용한 APT 공격 사례 확인

[아이티데일리] 구글이 자사 생성형 인공지능(AI) ‘제미나이(Gemini)’를 사이버 공격에 활용한 사례를 포착했다. 공격자들은 제미나이로 악성 스크립트를 제작하거나 지메일(Gmail) 등 구글 서비스를 악용하려 시도했으나 AI 모델 내 안전 제어 기능을 우회하는 데 실패한 것으로 확인됐다.

구글 위협 인텔리전스 그룹(Google Threat Intelligence Group, GTIG)은 지난달 30일(현지 시각) 발간한 보고서를 통해 제미나이를 오용하려 한 20개국 이상의 지능형 지속 위협(APT) 그룹을 발견해 조사했다고 밝혔다.

GTIG에 따르면, APT 공격자들은 △대상 조직 정찰 △취약성 조사 △악성 스크립트 및 회피 기술 지원 등 공격 라이프사이클 여러 단계에서 제미나이를 활용했다.

특히 제미나이 내 안전 제어를 우회하기 위해 ‘AI 탈옥(AI Jailbreak)’을 시도한 사례도 확인됐다. AI 탈옥은 AI 모델이 피하도록 훈련받은 방식으로 동작하도록 악의적 프롬프트를 주입하는 ‘프롬프트 인젝션(Prompt Injection)’ 공격의 일종이다. 이를 통해 공격자들은 AI 탈옥으로 분산 서비스 거부(DDoS)를 위한 파이선(Python) 코드를 만들려 했다.

다만 제미나이에 탑재된 안전 제어 기능으로 탈옥 프롬프트가 차단됐으며, 이후 공격자들은 세션을 포기했다고 GTIG는 설명했다.

GTIG는 이란, 중국, 북한, 러시아 등 4개국에서 각국 정부와 관련된 APT 그룹 활동이 활발했다는 점도 파악했다. 이 중 이란과 중국에서 제미나이를 악용하려는 시도가 가장 많이 나타났다.

먼저, 이란에서는 방위 조직 정찰, 공개 취약성 연구, 피싱 캠페인 개발 등 광범위한 활동에 제미나이를 활용했다. 또 무인 항공기(UAV)나 미사일 방어 시스템 같은 주요 사이버 보안 및 군사 기술에 관련된 내용을 번역하고 연구하는 데도 사용했다.

중국 APT 그룹은 제미나이로 미국 정부 기관과 군대를 정찰했으며, 비밀번호 해시(Hash)로 마이크로소프트 익스체인지(Microsoft Exchange)에 접근하거나 카본 블랙 EDR(Carbon Black EDR) 같은 보안 도구의 취약점을 파악하는 데 악용했다.

북한에서는 9개 APT 그룹이 제미나이를 악용했다. 이들은 위조된 지원서를 작성하거나 손상된 지메일(Gmail) 계정에서 데이터를 훔치려고 시도했다. 이러한 작업은 북한 IT 인력을 가짜 신원으로 서방 기업에 몰래 취직시키기 위한 과정의 일환이었다.

실제로 미국 법무부는 지난달 23일(현지 시각) 북한 IT 인력의 국적을 숨기고 원격 근무 방식으로 미국 기업에 일하게 한 일당 5명을 기소한 바 있다. 일당 중에는 북한 국적 인원 2명이 포함돼 있었다.

한편, 러시아의 경우 제미나이 악용 사례가 두드러지지 않았다. 그 이유는 불분명하나 GTIG는 러시아 공격자들이 운영 보안을 고려해 제미나이를 사용하지 않았거나 활동 모니터링을 피했을 가능성이 있다고 설명했다.

GTIG 측은 “구글은 AI 원칙에 따라 보안 조치와 안전 가드레일을 갖춘 AI 시스템을 설계하며, 모델의 보안과 안전을 지속 개선한다. 특히 위협 인텔리전스로 악의적 사이버 활동을 비롯한 서비스 오남용을 조사하고 필요시 법 집행 기관과 협력하고 있다”고 밝혔다.