[아이티데일리] 구글의 생성형 인공지능(AI) 서비스 ‘제미나이(Gemini)’에서 피싱 공격에 악용될 수 있는 취약점이 발견됐다. 공격자는 이메일에 악성 스크립트를 숨긴 뒤 AI가 명령을 처리하는 과정에서 이를 읽도록 유도할 수 있었다.

15일 블리핑컴퓨터(Bleeping Computer) 등 외신에 따르면, 보안 연구원 마르코 피게로아(Marco Figueroa)는 버그 바운티(Bug Bounty) 플랫폼 ‘오딘(0DIN)’을 통해 제미나이의 지메일(Gmail) 연동 기능에서 발생하는 프롬프트 공격 취약점을 공유했다.

공격자는 악성 프롬프트가 담긴 피싱 이메일을 보낸다. 이 프롬프트를 사용자가 확인할 수 없도록 글꼴 크기를 0으로 설정하고 색상을 흰색으로 지정했다. 링크나 첨부파일을 사용하지 않기에 지메일 시스템에서도 걸러내지 못했다.

수신자가 지메일에 탑재된 제미나이로 이메일 요약 생성을 요청하면 AI가 메일함 속 다양한 이메일을 읽어 들인다. 이 과정에서 제미나이는 사용자에게 보이지 않는 악성 프롬프트를 함께 분석하고, 그 지시에 따르게 된다.

피게로아가 제공한 예시에서는 악성 프롬프트를 읽은 제미나이가 사용자의 지메일 비밀번호가 유출됐다는 경고와 함께 지원 전화번호가 담긴 메시지를 띄웠다. 제미나이 대화창에서 나오는 정보이기에 사용자는 이를 피싱 공격이 아닌 올바른 경고로 받아들일 가능성이 높다.

거대언어모델(LLM) 서비스 제공업체에서는 프롬프트 주입 공격을 차단하기 위해 보안 가드레일을 구축하고 있다. 보안 가드레일은 악의적 조작으로 AI가 유해하거나 부적절한 답변을 하지 않도록 막는 보호 장치다. 하지만 이번 사례에서 공격자는 보안 가드레일을 무력화하는 데 성공했다.

마르코 피게로아는 “공격자는 HTML 코드를 사용자 눈에 보이지 않도록 교묘하게 숨겼다”며 “보안 가드레일은 주로 사용자에게 표시되는 텍스트에 중점을 둔다. 때문에 AI는 공격자가 숨긴 악성 프롬프트를 의심하지 못하고 받아들이게 된다”고 설명했다.

피게로아는 이 같은 프롬프트 주입 공격을 예방하기 위해 숨겨진 콘텐츠는 무시하도록 LLM 보안을 강화하거나, 제미나이가 표시한 메시지에 링크나 전화번호가 포함될 시 경고하는 후처리 필터를 적용할 것을 권고했다.

구글은 AI 서비스를 표적으로 삼는 프롬프트 주입 공격에 대응하고 있다. 일례로 이메일, 파일 등에서 악성 프롬프트를 감지할 수 있는 머신러닝 모델을 구축해 배포하고 있다. 이를 통해 제미나이는 악의적 지침이 포함된 이메일을 필터링하고 안전한 응답만 생성할 수 있다.

블리핑컴퓨터에 따르면, 구글 측은 이번 취약점에 대해 “실제 악용 사례는 발견되지 않았으며 완화 조치를 진행 중”이라고 밝혔다.

한편, 마이크로소프트(MS) 365 코파일럿(Copilot)에서도 유사한 보안 취약점이 발견됐다. 이스라엘 사이버보안 기업 에임 시큐리티(Aim Security)는 지난달 11일 취약점 ‘CVE-2025-32711’을 발견해 MS 보안 대응 센터에 공유했다고 발표했다.

이 취약점은 공격자가 민감 데이터 제공을 지시하는 이메일을 발송하면 ‘LLM 범위 위반(LLM Scope Violation)’을 일으켰다. LLM 범위 위반은 특정 지침이 내려지면 AI가 사용자 동의 없이 신뢰할 수 있는 데이터에 접근하는 상황을 뜻한다.

공격자는 AI 에이전트가 요약 정보 제공을 위해 이메일을 스캔하는 점을 악용했다. 이를 통해 MS가 마련한 AI 보호 장치를 우회한 뒤 데이터 유출까지 일으킬 수 있었다.

MS는 에임 시큐리티로부터 정보를 공유받은 즉시 CVE-2025-32711에 대한 보안 패치를 제공했다.