[아이티데일리] 거대언어모델(LLM) 기반 애플리케이션(이하 앱)이 확산함에 따라 이에 대한 데이터 조작과 유출 공격을 예방하기 위한 기업 내 대응 방안을 마련해야 한다는 전망이 나왔다.

SK쉴더스(대표 홍원표)는 8일 AI 보안 위협에 선제 대응하기 위한 ‘LLM 애플리케이션 취약점 진단 가이드’를 발간하며 이 같이 밝혔다.

LLM 기반 앱은 자연어 처리, 콘텐츠 생성에 특화된 AI 모델을 활용하며 금융, 제조, 헬스케어 등 여러 산업군에서 사용되고 있다. 오픈AI ‘챗GPT’와 구글 ‘제미나이’가 대표 사례다.

LLM 기반 앱은 데이터 및 사용자 입력 처리 방식의 독특한 특성으로 인해 기존 IT 시스템과 다른 보안 위협에 취약해 철저한 대비가 필요하다.

SK쉴더스는 2025년 주요 보안 위협 중 하나로 AI 기반의 해킹 증가를 꼽으며, 특히 소규모 언어 모델(sLLM)을 겨냥한 해킹과 LLM의 구조적 취약점을 악용한 데이터 조작 및 유출 공격이 심화할 것으로 내다봤다.

이러한 위협에 대응하고자 발간된 이번 가이드는 △LLM 통합 △에이전트 △모델의 세 가지 핵심 영역의 보안 이슈를 다루고 있다. ‘OWASP 톱 10 포 LLM 애플리케이션 2025(OWASP Top 10 for LLM Applications 2025)’의 주요 항목을 모두 포함하며, 특히 14개 주요 취약점을 위험도에 따라 3단계로 분류해 점검 방법 및 대응 방안을 제시한다.

보고서는 주요 보안 위협으로 △프롬프트 인젝션 △API 매개변수 변조 △검색 증강 생성(RAG) 데이터 오염’ 등을 꼽았다. 프롬프트 인젝션은 사용자 입력값을 악의적으로 조작, 시스템이 의도하지 않은 응답을 출력하도록 유도하는 공격이다. 이는 악의적 응답 생성, 민감 정보 유출 등을 초래할 수 있다.

API 매개변수 변조는 시스템 간 통신에 사용되는 API 요청 값을 변경해 시스템 권한을 초과하는 동작을 실행시키는 위협이다. 이를 통해 악성 이메일 전송, 데이터 유출, 시스템 장악과 같은 심각한 문제가 발생할 수 있다. 또 RAG 데이터 오염은 외부 데이터를 악의적으로 조작해 검색된 정보의 신뢰도를 떨어뜨리는 방식으로 보안 문제를 일으킨다.

이 외에도 서드파티 소프트웨어 사용과 보호된 영역 안에서만 프로그램이 작동 가능한 샌드박스 미적용도 위험도가 높은 항목으로 꼽혔다.

이번 가이드에서는 이러한 보안 위협을 예방하기 위해 사용자와 시스템 명령어(프롬프트)를 분리하고, 데이터 흐름 점검 및 데이터 검증 절차를 강화해야 한다고 강조했다.

이와 더불어 LLM의 코드 실행 여부에 따라 샌드박스를 활용해 악성코드 실행을 방지하고, RAG 활용 시 권한 없는 데이터 접근을 차단하기 위해 그룹별 권한 관리 체계를 구축할 것을 권고했다. 특히 다층 보안 체계를 도입해 데이터 오염 및 권한 상승 공격을 방지해야 한다고 덧붙였다.

SK쉴더스 사이버보안부문장 김병무 부사장은 “AI 기술은 편리함을 제공하나 기술적 불안정으로 보안 취약점이 악용될 시 심각한 해킹 사고가 발생할 수 있다”며 “이번 가이드는 기업과 기관이 직면할 수 있는 AI 보안 문제를 사전 예방함과 동시에, 신뢰할 수 있는 AI 시스템 구축에 실질적 도움을 줄 것으로 기대된다”고 밝혔다.