[아이티데일리] 기업이 고객 서비스용으로 운영하는 인공지능(AI) 챗봇(Chatbot)이 해커들의 침입 경로로 악용될 수 있다는 경고가 이어지고 있다. 단순해 보이는 챗봇의 보안상 허점들이 연쇄적으로 이어져 결국 기업의 핵심 시스템 전체를 장악당할 위험이 있다는 지적이다.

지난 8일(현지시각) 트렌드마이크로는 가상의 금융회사를 대상으로 해킹 시뮬레이션을 실시해 고객 상담 챗봇에서 시작해 최종적으로 고객 데이터베이스와 AI 모델까지 훔쳐내는 데까지 성공했다고 밝혔다. 

트렌드마이크로 공동창립자인 에바 첸(Eva Chen) CEO는 “기술 발전에는 항상 새로운 사이버 위험이 따른다”며 “AI도 제대로 보호받을 때만 그 힘을 발휘할 수 있다”고 강조했다.

챗봇부터 전체 시스템까지 장악

해킹은 크게 4단계로 진행됐다. 첫 번째로 해커들은 일반 고객인 척하며 챗봇에 고의로 잘못된 질문을 던져 오류 메시지를 유도했다. 이 과정에서 챗봇이 사용하는 기술 정보가 실수로 노출됐다.

두 번째 단계에서는 ‘간접 프롬프트 주입(indirect prompt injection)’이라는 기법이 사용됐다. 해커들은 챗봇이 참고하는 외부 리뷰 사이트에 겉보기에는 긍정적이지만 숨겨진 명령을 포함한 가짜 리뷰를 올렸다. 챗봇은 리뷰에 숨겨진 명령을 따라 스스로의 내부 작동 방식을 노출했다.

세 번째로 해커들은 챗봇이 필요 이상으로 많은 권한을 가질 수 있다는 점을 악용했다. 고객 상담용 챗봇이 요청에 따라 내부 데이터베이스에 직접 접근할 수 있었고, 해커들은 이를 통해 고객들의 개인정보와 계좌 정보까지 빼낼 수 있었다.

마지막 단계에서는 챗봇을 통해 서버에 악성 명령어를 실행시켜 시스템 깊숙이 침투했다. 이로써 해커들은 결국 AI 시스템의 핵심 데이터와 모델이 저장된 곳까지 접근할 수 있게 됐다.

컨테이너 보안이 핵심 방어책

이런 연쇄 공격을 막기 위해서는 다양한 계층에서의 보안 대책이 필요하다. 트렌드마이크로 연구진은 특히 이 가운데 컨테이너 보안이 중요한 역할을 한다고 강조했다. 컨테이너는 현대 기업들이 AI 서비스를 운영할 때 널리 사용하는 기술로, 보안 허점이 생기면 해커들이 다른 시스템으로 쉽게 이동할 수 있다.

트렌드마이크로 측은 “컨테이너 보안 솔루션이 의심스러운 활동을 실시간으로 감지하고 차단할 수 있어 해킹의 확산을 막는 핵심 방어선이 된다”고 설명하고 “AI 시스템을 배포하기 전에 미리 보안 취약점을 점검하고, 운영 중에도 실시간으로 입출력을 모니터링하는 통합적 접근이 필요하다”고 조언했다.