[아이티데일리] 기업들은 생산성과 효율성을 높이기 위해 생성형 인공지능(AI)을 적극적으로 도입하고 있다. 그러나 이 중 많은 기업은 특정 워크플로우와 통합되지 않은 생성형 AI 콘텐츠 생성 서비스에 대한 투자수익률(ROI) 입증에 어려움을 겪고 있다.

디지털 혁신 전략의 핵심 요소로 부상하는 ‘AI 에이전트’

주요 AI 공급업체들은 자동화와 비즈니스 가치를 제공하는 수단으로 기업용 AI 에이전트의 도입과 활용을 제안하고 있다. 실제로 많은 기업이 이러한 기능을 탑재한 제품을 도입하거나 개발하고 있으며, 기존 생성형 AI 제품에도 자동화 기능이 추가되는 추세다.

기업들이 자동화를 실현하기 위해 생성형 AI 애플리케이션에 대한 투자를 확대하면서, AI 에이전트는 디지털 혁신 전략의 핵심 요소로 부상하고 있다. 이러한 에이전트는 자율적, 반자율적 또는 다중 에이전트 시스템 내에서 작동하며, AI를 활용해 다양한 목표 달성을 위한 인지, 의사결정, 행동을 수행한다.

하지만 혁신은 언제나 새로운 보안 리스크를 동반한다. AI 에이전트는 기존 AI 모델과 애플리케이션이 지닌 위협과 다른 새로운 형태의 보안 리스크를 야기할 수 있다. 가트너는 2028년까지 기업 보안 침해 사고의 25%가 외부 공격자 또는 악의적 내부 인력에 의한 AI 에이전트 악용으로 발생할 것이라고 전망한다.

AI 에이전트 도입으로 기업의 공격 표면이 확장되면 외부 공격과 내부 위협 또한 증가하게 된다. 이에 따라 새로운 보안 및 위험 관리 전략의 필요성이 부각되고 있으며, 기업은 잠재적 위험을 완화하기 위한 제어 체계를 신속하게 구축해야 한다.

이러한 과제를 효과적으로 해결하려면, 기업은 모든 신원에 대한 아이덴티티 거버넌스 및 관리(IGA)를 최우선으로 추진해야 한다. 이는 민감한 콘텐츠와 데이터를 비인가 AI 프로세스 및 엔터티로부터 분리하는 것을 전제로 한다.

이와 함께 런타임 데이터 보호 기능을 제공하는 전문 솔루션 도입을 통해 상황별 동적 액세스 관리 및 데이터 분류 기능을 구현하고 최소 권한 액세스를 시행해야 한다. 이러한 접근 방식은 기존의 신원 및 액세스 관리 체계와 정보 거버넌스 프레임워크를 보완해 기업 데이터 및 시스템 보안을 한층 강화한다.

혁신은 새로운 보안리스크 동반

AI 에이전트 운영이 가속화 할수록 이를 안전하게 보호하지 못하는 기업은 해커와 악의적 내부자에 대해 취약해질 것이다. 기업은 직원 교육에 적극적으로 투자해, AI 에이전트가 제품과 서비스에 통합되면서 발생할 수 있는 특정 위험을 인식하고 대응할 수 있도록 해야 한다.

기술적 측면에서 가트너는 AI 에이전트 위험 관리를 위한 자체 솔루션 개발 혹은 외부 솔루션 도입을 권장한다. 이러한 솔루션의 핵심 요건은 다음과 같다.

첫째, 모든 인력에게 프로세스, 연결, 데이터 노출, 정보 흐름 및 출력을 포함한 에이전트 활동의 포괄적 개요와 매핑을 제공해 이상 징후를 식별할 수 있어야 한다. 둘째, 비정상적 AI 에이전트의 행동이나 정책 위반 동작을 탐지하고 즉시 플래그를 지정해야 한다. 셋째, 사람의 감독만으로는 AI 운영을 충분히 관리하기 어렵기 때문에, 플래그가 지정된 이상 징후나 공격은 실시간으로 자율 대응할 수 있어야 하며, 예외적 사례는 인력 검토 및 조치를 거쳐야 한다. 사후에 이러한 솔루션을 추가하기보다 초기 설계 단계에서 제품과 소프트웨어에 보안 및 위험 완화 기능을 내재화하는 접근이 훨씬 효율적이다.

아울러, 기업은 최종 사용자 행동 모니터링 및 분석 기능을 확장해 외부 엔터티와의 무단 협업을 포함한 비정상적 AI 에이전트 활동을 탐지하고 경고해야 한다. 이는 기존 직원 활동 모니터링에 국한된 공급업체들이 AI 에이전트와 봇 등 머신 기반 신원 모니터링까지 기능을 확대해야 함을 의미한다.

다수의 생성형 AI 신뢰, 위험, 보안 관리(TRiSM) 공급업체들은 AI 에이전트 TRiSM 기능을 지원하기 위해 역량 확장에 나서고 있다. 가트너는 이러한 역량 확장이 향후 3~5년 내 AI TRiSM 공급업체에게 필수 요건이 될 것으로 예상한다.

다중 에이전트 시스템(MAS) 공급업체들 역시 자사 플랫폼에 보안 기술을 통합하고 있다. 이러한 플랫폼은 AI 에이전트를 활용해 MAS 활동을 실시간으로 모니터링하고, 규정 위반이나 외부 공격을 사전에 차단한다. 클라우드 및 네트워크 보안을 지원하는 대형 보안 공급업체들 또한 향후 3년 내 AI 에이전트 보안 및 위험 관리 역량을 확보할 것으로 전망된다.

AI 에이전트 보안은 선택 아닌 필수

AI 에이전트 보안은 이제 선택이 아닌 필수다. AI 에이전트의 도입은 기업의 혁신을 가속하는 강력한 동력이지만, 새로운 보안 위협과 공격 표면 확대를 동시에 수반한다. 기업은 이를 보완하기 위해 인간과 기계를 아우르는 강력한 아이덴티티 거버넌스 체계를 구축하고, 리스크 인식과 대응 역량 강화를 위한 직원 교육을 실시하며, 실시간 자율 대응이 가능한 기술적 솔루션을 도입하는 등 다층적 노력을 기울여야 한다.

이러한 사전 예방적 조치를 통해 기업은 AI 에이전트 리스크를 효과적으로 관리하고, 디지털 혁신 이니셔티브의 회복탄력성과 보안을 확보할 수 있다. AI 에이전트 시대의 경쟁 우위는 결국 안전하게 AI를 운용할 수 있는 능력에서 결정될 것이다.