[아이티데일리] 2024년은 생성형 AI가 지배했던 한 해였다. 생성형 AI의 발전은 IT 산업을 비롯해 모든 산업 분야에도 막대한 영향을 끼쳐 AI 이전 시대로 돌아갈 수 없는 상황에 이르렀다.

AI 기술의 전례 없는 발전 속도는 2025년에도 여전할 것으로 예측되며, 이제 사람들의 이목은 생성형 AI의 열풍 그다음에 관심을 보이고 있다. 가트너를 비롯한 많은 전문가들은 생성형 AI의 다음 단계로 AI 에이전트를 주목하고 있다. AI 에이전트는 모든 산업에서 혁신을 이끌어 낼 수 있을까.

‘큰 힘에는 큰 책임이 따른다’

가트너는 AI 에이전트를 통해 자율적으로 이루어지는 일상 업무 결정 비율이 2024년 0%에서 2028년 최소 15% 이상으로 증가할 것으로 예측했다. 오픈AI, 마이크로소프트 등 빅테크 기업의 최첨단 모델을 기반으로 구동되는 AI 에이전트는 다양한 기업용 제품에 통합돼 효율성을 최대로 끌어올리고 있다. ‘큰 힘에는 큰 책임이 따른다’고 했던가. AI 에이전트의 이점은 새로운 유형의 위험 특히 보안에 대한 위협을 불러일으키고 있다. AI 에이전트를 활용하기 위해서는 이를 안전하게 다룰 책임도 갖춰야 한다.

가장 먼저 해야 할 일은 AI 에이전트가 가진 고유한 위험을 파악하는 것이다. AI 에이전트는 AI가 디지털, 물리적 환경과 상호작용할 수 있는 방식으로 구현된다. 이를 통해 AI는 자율적, 반자율적 작동으로 인간의 개입이 최소화된 의사결정, 작업 수행, 목표를 달성할 수 있다. 하지만 자율성은 새로운 가능성을 제공하는 동시에 위협이 되는 양면성을 갖고 있다.

지금까지 AI 관련 위험은 모델의 입력, 처리, 출력, 제어를 담당하는 소프트웨어의 취약성에 국한돼 있었다. 하지만 AI 에이전트의 리스크는 이보다 훨씬 넓은 범위에서 발생한다. AI 에이전트의 일련의 작업과 상호작용은 매우 복잡하고 방대해, 인간이 이를 모두 파악하는 것은 불가능에 가깝다. 이러한 가시성 부족은 기업이 AI 에이전트 활동을 실시간으로 모니터링하고 제어하는 데 맹점으로 작용해, 심각한 보안 문제로 이어질 수 있다.

가장 심각한 리스크는 데이터 노출 및 유출이며 이는 AI 에이전트 작동 프로세스의 어느 단계에서든 발생할 수 있다. 다른 리스크로는 AI 에이전트의 과도한 시스템 리소스 사용으로 인한 운영 비용 증가, 그리고 서비스 중단 문제가 있을 수 있으며, 외부 공격자가 AI 에이전트를 탈취해 악용하는 것도 주의해야 한다.

AI 에이전트의 코딩에 오류가 있다면 의도치 않은 데이터 유출이나 보안 위협으로 이어질 수 있고, 타 업체의 라이브러리를 사용하거나 외부 코드를 사용할 경우 AI와 비AI 환경 모두에 손상을 입히는 공급망 위험이 발생할 수 있다. 로우코드 또는 노코드 개발 환경과 같이 자격 증명을 하드코딩 한다면 액세스 관리 문제가 악화돼, 공격자가 AI 에이전트를 더 쉽게 악용할 수도 있다.

세 단계로 제어 시스템 구현

AI 에이전트의 리스크를 줄이기 위해서는 세 가지 핵심 단계를 통해 강력한 제어 시스템을 구축해야 한다.

첫 번째 단계는 모든 AI 에이전트 활동, 프로세스, 연결, 데이터 노출, 정보 흐름에 대한 가시성을 확보하는 것이다. 이는 이상 징후를 감지하고, AI 에이전트 활동이 기업 보안 정책에 부합하는지 확인하는 데 매우 중요하다. 이를 위해 책임 소재를 파악하고 추적할 수 있도록 AI 에이전트 활동에 대한 변경 불가 감사 로그를 구축해야 한다.

AI 에이전트가 어떻게 사용되는지, 기업 정책에 대한 성능, 보안, 개인정보 보호, 법적 요건 준수 여부를 감시하는 상세한 대시보드는 반드시 갖춰야 할 요소다. 이 대시보드는 기존 기업용 ID 및 액세스 관리(IAM) 시스템과 통합돼 최소 권한 액세스를 시행하고, AI 에이전트의 무단 작업을 방지해야 한다.

두 번째 단계는 AI 에이전트 활동에 대한 종합적인 가시성이 구축된 이후, 잠재적 위험을 사전에 예방할 수 있는 메커니즘을 도입하는 것이다. 이는 비정상적 활동 또는 정책 위반 활동을 감지하고, 플래그를 지정하며, 사전에 설정된 기준을 통해 이상 징후를 식별하고, 실시간 자동 수정 기능으로 신속하게 문제를 해결할 수 있다.

AI 에이전트는 무수히 많은 상호작용이 매우 빠르게 이루어지기 때문에 인간의 힘으로는 감독하고 수정하는 것이 불가능에 가깝다. 자동으로 위협을 탐지하고 대응할 수 있는 메커니즘을 구축한 뒤, 해결이 어려운 문제는 인간이 검토하는 방식을 적용한다면 위험을 효율적으로 관리할 수 있다.

마지막 단계는 탐지된 이상 징후를 해결하기 위한 실시간 자동 수정 기능을 적용하는 것이다. 민감 데이터 삭제, 최소 권한 액세스 적용, 위반 감지 후 액세스 차단 등의 작업이 이에 포함된다.

AI 에이전트가 접근할 수 없는 위협 지표와 파일을 정리한 차단 목록을 만들고 유지하는 것도 중요하다. 지속적인 모니터링과 피드백 루프 구축은 AI 에이전트의 부정확성으로 인해 발생한 의도치 않은 비정상적 작업을 식별하고 복원할 수 있다.

점점 더 많은 기업들이 AI 에이전트를 도입함에 따라, AI 에이전트 또한 생성형 AI와 같이 대중적 기술로 자리 잡게 될 것이다. 하지만 동시에 AI 에이전트와 관련한 위험과 보안 위협도 커지고 있어, 관련 사고가 발생할 때 기업과 업계에 미칠 파괴력도 클 것으로 보인다.

AI 에이전트 도입을 위해서는 위와 같은 세 가지 핵심 단계를 통한 강력한 제어 시스템을 먼저 구축해야 한다. 예상을 뛰어넘는 속도의 AI 기술 진화와 산업 혁신 흐름 속에서 사후약방문식 대처가 아닌 사전 예방적 위험 관리 시스템 구축이 필요한 시점이다.