[아이티데일리] 인공지능(AI) 에이전트의 급속한 확산과 함께 새로운 보안 패러다임이 등장하고 있다. 기존 AI 시스템이 정보를 제공하는 데 그쳤다면, 이제는 스스로 판단하고 행동하는 에이전틱 AI(Agentic AI)가 기업 환경에 본격 도입되면서 또 다른 위험 요소들이 대두되고 있다. 이러한 변화 속에서 AI를 감시하는 AI, 바로 ‘가디언 에이전트’가 주목받고 있다.

‘에이전틱 AI’ 빠르게 확산하며 다양한 위협 유형 대두

가트너가 CIO 및 IT 부서 리더 147명을 대상으로 실시한 최신 설문조사 결과를 보면 응답자의 24%가 현재 12개 미만의 AI 에이전트를 구축하고 있으며, 4%는 이미 12개 이상을 도입한 것으로 나타났다. 또한 응답자의 50%는 현재 AI 에이전트 기술을 연구하거나 실험 중이라고 답했으며, 17%는 늦어도 2026년 말까지 이를 구축할 계획이라고 밝혔다.

기업들의 활용 현황을 살펴보면, 응답자의 절반 이상(52%)이 AI 에이전트를 IT, HR, 회계 등 내부 관리를 위한 업무에 적용 중이거나 적용 예정이라고 밝혔다. 또한 23%는 외부 고객 대응 업무에 집중적으로 활용하고 있다고 답했다.

이처럼 AI 에이전트의 사용 사례가 지속적으로 확대되면서, 다양한 위협 또한 대두되고 있다. 주요 위협 유형으로는 에이전트가 조작되거나 잘못된 데이터에 의존해 발생하는 △‘입력 조작’ 및 △‘데이터 중독’이 있다. 자격 증명 탈취 및 남용으로 인한 △‘무단 제어’와 △‘데이터 유출’도 심각한 문제로 지목된다.

또한 에이전트가 가짜 또는 악성 소스와 상호작용하면서 발생하는 △‘유해 작업’, 그리고 내부 결함 또는 외부 요인에 의한 에이전트의 이탈 및 의도치 않은 행동으로 초래되는 △‘평판 손상’과 △‘운영 중단’도 주요 위협으로 분류된다.

아비바 리탄 가트너 수석 VP 애널리스트는 “적절한 가드레일 없이 에이전틱 AI를 사용할 경우, 원치 않는 결과가 발생할 수 있다”고 경고했다.

가디언 에이전트, AI를 지키는 AI로 부상

가디언 에이전트는 신뢰할 수 있고 안전한 AI 상호작용을 지원하는 AI 기반 기술로, 사용자의 콘텐츠 검토, 모니터링, 분석 등을 돕는 AI 어시스턴트 역할을 수행한다. 이와 동시에 가디언 에이전트는 반자율 및 완전 자율 에이전트로서 실행 계획을 수립하고 수행하며, 사전 정의된 목표에 따라 동작을 조정하거나 차단한다.

가트너 아비바 리탄 수석 VP 애널리스트는 “가디언 에이전트는 광범위한 에이전틱 AI 기능과 AI 기반의 결정론적 평가를 활용해 모든 에이전트 기능을 관리 감독하고, 런타임 의사결정과 위험 관리의 균형을 맞춘다”고 강조했다.

AI 에이전트를 일관되고 안전하게 운용하기 위해서는 신뢰, 위험 및 보안에 대한 자동화된 제어 체계가 필요하다. 이에 따라 가디언 에이전트의 필요성이 더욱 부각되고 있으며 관련 기술이 빠르게 주목받고 있다.

세 가지 핵심 기능으로 안전한 AI 환경 구축

CIO와 보안 및 AI 리더는 AI 상호작용을 안전하게 지원하기 위해 가디언 에이전트의 세 가지 핵심 활용 유형에 주목해야 한다.

첫째, 검토 기능이다. AI가 생성한 결과물과 콘텐츠의 정확성 및 사용 가능 여부를 식별하고 평가한다.

둘째, 모니터링 기능이다. 인간 또는 AI 기반 후속 조치를 위해 AI 및 에이전트의 행동을 관찰하고 추적한다.

셋째, 보호 기능이다. 자동화된 작업을 통해 실행 중인 AI 및 에이전트의 작동 및 권한을 조정하거나 차단한다.

향후 가디언 에이전트는 활용 유형과 관계없이 상호작용 및 이상 징후를 관리하는 역할을 수행할 것으로 예상된다. 이러한 기능은 가디언 에이전트 통합의 핵심 요소로 작용할 것으로 전망이다.

2030년까지 시장점유율 10~15% 차지 전망

가트너는 2030년까지 가디언 에이전트가 전체 에이전틱 AI 시장의 최소 10~15%를 차지할 것으로 전망한다고 발표했다. 이는 AI 에이전트의 확산 속도와 보안에 대한 우려가 동시에 증가하고 있음을 반영하는 수치다.

특히 가트너는 2028년까지 AI 애플리케이션의 70%가 다중 에이전트 시스템을 도입할 것으로 예측했다. 다중 에이전트 환경에서는 시스템의 복잡성과 빠른 통신 속도로 인해 인간의 개입만으로는 오류와 악의적 활동의 잠재적 위협을 감지하고 대응하기 어려워질 것으로 분석된다.

리탄 수석 VP 애널리스트는 “AI 에이전트의 급속한 확산과 자율성 증가로 인해, 기존의 인간 중심 감독을 넘어서는 새로운 접근방식이 필요하다”고 밝혔다. 그는 “기업들이 다중 에이전트 시스템으로 전환하면서, 시스템의 복잡성과 빠른 통신 속도로 인해 인간의 개입만으로는 오류와 악의적 활동의 잠재적 위협을 감지하고 대응하기 어려워지고 있다”고 설명했다.

그러면서 “증가하는 위협 환경은 AI 애플리케이션과 에이전트를 자동으로 감독하고 제어하고 보호할 수 있는 가디언 에이전트의 시급한 필요성을 강조한다”고 덧붙였다.

가디언 에이전트 기술의 등장은 단순한 보안 도구를 넘어 AI 생태계의 신뢰성과 지속가능성을 보장하는 핵심 인프라로 자리잡을 것으로 기대된다. 이제 중요한 것은 기술 개발과 함께 적절한 규제 체계와 윤리적 가이드라인을 마련해 가디언 에이전트가 진정한 ‘AI의 수호자’ 역할을 할 수 있도록 하는 것이다.