[아이티데일리] 생성형 인공지능(AI) 등장 초기에는 어느 정도 생산성 향상을 이뤄낼 수 있을지에 관심이 집중됐다. 하지만 이제는 이러한 수준을 넘어 또다른 질문들이 등장했다.

가트너는 생성형 AI에 대한 기업들의 지출이 올해 6,440억 달러에 달할 것으로 예상하고 있다. 기업들은 작업의 복잡성, 구성원의 경험, 업무의 전략적 가치 중 어떤 것이 중요한지 판단함과 동시에, AI의 역할을 단순한 업무의 최적화에 맞출지 또는 비즈니스 가치를 창출하는 데 맞출지 고심하고 있다.

챗GPT나 코파일럿과 같은 AI 어시스턴트는 사용자의 프롬프트에 반응하지만, AI 에이전트는 인간의 개입 없이도 스스로 행동한다. 대규모언어모델(LLM)과 머신러닝(ML) 알고리즘을 활용해 디지털 및 물리 환경에서 인지, 판단, 행동을 거친 이후 목표를 달성하는 방식으로 작동하기 때문이다. 이를 통해 AI 에이전트는 기업의 실질적인 협업 파트너로서의 가능성을 보여준다. 가트너는 2028년까지 모든 IT 운영 도구의 60%에 AI 에이전트가 통합될 것으로 예측했다.

인프라 및 운영(I&O) 리더는 이러한 전환이 가져올 비즈니스 기회를 간과해서는 안 된다. AI 에이전트를 성공적으로 도입하기 위해서는 IT 운영 전반에 걸쳐 어느 분야에 적합한지, 어떤 리스크를 수반하는지, 어떻게 책임감 있게 배포할 수 있는지를 면밀히 검토해야 한다.

IT 운영 패러다임의 전환

AI 에이전트는 IT 운영의 패러다임을 근본적으로 뒤바꿀 잠재력을 갖고 있다. 단순한 작업 보조를 넘어, 인간의 개입 없이 복잡한 업무까지 처리해 운영 인력이 고부가 가치 업무에 집중할 수 있도록 한다. 예를 들어 LLM 기반 에이전트는 프롬프트가 주어지면 ‘생각 사슬(Chain of Thought)’ 추론으로 계획을 세우고, 축적된 데이터와 시행착오를 바탕으로 결정을 내린다. 또한, AI 에이전트는 ML 알고리즘으로 이상 징후를 감지해 IT팀이 사이버 위협에 더욱 신속하게 대응할 수 있도록 지원한다.

복잡한 IT 환경에서 AI 에이전트의 가장 큰 강점은 맥락과 목표를 이해하는 능력에 있다. 이를 기반으로 다양한 기능을 동시에 조율해, 적응성·모듈성·확장성을 갖춘 유연한 IT 운영 체계를 구축할 수 있다. 아울러 API를 통해 외부 도구, 데이터와 상호작용해 기능을 강화하고 지식 기반을 확장하며 시스템 전반의 협업을 촉진할 수 있다. AI 에이전트의 전사적 확산을 위해 I&O 리더는 시범 운영을 통해 역량과 한계를 탐색하고, IT 시스템 및 인프라와의 상호작용 방식을 검토해야 한다.

의사결정 능력 향상

AI 에이전트는 IT 운영 전반의 정보 흐름에 대한 이해도를 높여 의사결정의 투명성을 강화한다. 우선 상위 목표를 실행 가능한 단계로 세분화한다. 이어서 각 단계 간의 종속성을 분석함으로써, 최적의 실행 계획을 수립하고 잠재적인 충돌을 사전에 식별한다. 이를 통해 AI 에이전트는 구조화된 작업 목록을 생성하고, 나아가 전체 프로젝트 계획을 스스로 수립할 수 있다. AI 에이전트 프레임워크를 전략적 의사결정에 적용한 사례로는 사전 예방적 자원 할당이 있다.

이는 AI 에이전트가 향후 워크로드에서 발생할 수 있는 예산 제약을 시뮬레이션하고, 피드백 루프를 통해 다양한 시나리오를 실행해 자원 활용에 대한 최적의 균형점을 도출하는 과정을 의미한다.

이 외에도 AI 에이전트는 사건 기록, 로그, 스크럼 등 각종 데이터를 지속적으로 모니터링하고, 개선이 필요한 작업을 선제적으로 식별, 처리해 기술 부채 관리에 기여한다. I&O 리더는 AI 에이전트 도입 효과를 의사결정에 연계하도록 명확한 마일스톤과 정책을 포함한 로드맵을 개발해야 한다.

공급업체 생태계 재편

AI 에이전트 도입은 IT 운영 공급업체에도 많은 영향을 미친다. 특히 여러 도구가 사용자 인터페이스 및 사일로화된 데이터와 밀접하게 얽혀 있다면 긍정적인 효과를 기대할 수 있다. 그동안 도구 통합을 위한 다양한 시도가 있었으나, 유지 관리가 어렵고 발전 속도가 느리며 변화에 취약한 API가 혼재된 결과로 이어지는 경우가 많았다.

AI 기반 IT 운영(AIOps)도 인프라 규모, 복잡성, 속도에 따른 제약으로 기대만큼의 성과를 거두지 못했다. AI 에이전트는 이런 한계를 극복할 수 있도록 공급업체로 하여금 제품과 서비스의 설계 및 제공 방식을 재고하도록 유도할 것이다.

이런 변화 속에서 I&O 리더에게는 세 가지 핵심 전략이 필요하다. 첫째, 공급업체가 다양한 수준에서 기능을 개방하고, 신규 AI 에이전트 플랫폼과 유기적으로 연동되는 AI 에이전트 버전을 개발하도록 장려해야 한다. 둘째, 주요 공급업체의 AI 에이전트 전략이 자사 AI 로드맵과 전략적으로 부합하는지 검토해야 한다. 마지막으로 변화하는 AI 에이전트 생태계를 면밀히 관찰해, 향후 몇 년 동안 공급업체의 입지가 어떻게 재편될지 예측해야 한다.

기술 개발과 도구 구축

AI 에이전트 기반 IT 운영을 구현하려면, 지능적이고 자율적으로 발전하는 시스템을 통합, 관리하는 기술 개발과 도구 구축이 필수적이다. 이를 위해서는 생성형 AI와 AI 에이전트 기능에 대한 폭넓은 지식이 필요하다. 최근에는 기술 공급업체가 고도화된 로우코드 도구 및 솔루션을 개발, 제공하면서 기술적 진입 장벽이 낮아지고 있다.

IT 운영팀은 AI 에이전트 기능 개발에 필요한 지식을 습득하고, 해당 기술 환경에 대한 적응, 작동 과정에서 발생할 수 있는 잠재 위험을 통제할 수 있어야 한다. 또한 AI 에이전트를 통해 비즈니스 가치를 창출하려면 AI 리터러시 향상에 투자해야 한다. 이와 함께 AI 에이전트 애플리케이션을 개발하는 기업과 협력해 효과적인 거버넌스 및 제어 체제를 설계하고 구축하는 것이 중요하다.

AI 에이전트의 등장은 생성형 AI 분야의 중대한 전환점이다. 기존 AI 도구가 기술 지원에 머물렀다면, AI 에이전트는 IT 운영 전반에 걸쳐 보다 실질적이고 능동적인 역할을 수행한다. 이를 통해 결국 자율적인 작업 수행, 의사결정 역량 강화, 공급업체 생태계 재편이 이뤄질 것이다. AI 에이전트의 잠재력을 최대한 활용하려면 I&O 리더는 기술 역량 개발과 함께 포괄적인 전략을 수립해야 한다. 이러한 전환은 단기적 효율 향상을 넘어, 장기적 비즈니스 혁신의 출발점이 될 것이다.