[아이티데일리] 사람들은 이제 인공지능(AI)으로 무엇을 할 수 있을지 묻고 있다. AI는 짧은 시간에 전례 없는 혁신을 가져왔지만, 높은 비용에도 불구하고 비즈니스와 연결되는 성과에서는 다소 미진한 점을 드러냈기 때문이다. 기업들은 많게는 수십억 원을 투입한 AI의 비용 대비 효과를 입증해야 하게 됐다.

AI를 통한 투자수익률(ROI) 확보에 골머리를 앓는 기업에 AI 에이전트가 구세주로 떠올랐다. AI 에이전트는 향상된 자율성과 실행 능력으로, 사람처럼 실제 업무 프로세스를 수행할 수 있다는 점에서 업계의 관심을 받고 있다. 미래 업무 환경을 탈바꿈시킬 AI 에이전트와 초기 시장 선점에 나선 국내외 기업 동향을 살펴본다.

자율적 의사결정으로 사람처럼 업무 수행

거대언어모델(LLM) 기반 서비스는 자연어 텍스트 입력만으로도 정보 제공, 자료 수집, 코딩(개발), 글쓰기, 이미지 생성 등 여러 기능을 제공한다. 특히 복잡한 사용 방법 없이 AI와의 대화만으로 다채로운 서비스를 이용할 수 있다는 점이 대중으로부터 폭발적인 호응을 얻었다. 대표 LLM 서비스인 오픈AI ‘챗GPT’의 경우, 지난달 주간 활성 이용자 수(WAU)가 3억 명을 넘어섰다.

AI가 전 세계에 불러일으킨 반향은 거대했으나 비즈니스 성과는 두드러지지 못했다. 외부 프로그램과 연계해 업무 효율성을 개선하는 데 한계를 보였기 때문이다. LLM을 기업 전반에 도입하기 위해선 막대한 비용을 치러야 하지만, 그에 비해 업무에서 거둘 수 있는 효과는 작았다. AI로 구현된 다양한 기능은 모두 특정 서비스 내에서만 가능했으며 이를 다른 프로그램이나 실제 업무로 연결할 수 없었다.

이런 상황에서 비즈니스 업무에서 효율성을 실질적으로 높이는 데 도움을 주는 AI 에이전트가 주목받고 있다. AI 에이전트는 스스로 판단해 의사결정을 내리고, 이를 실제 행동으로 옮길 수 있는 시스템을 일컫는다. 에이전트(agent)라는 말처럼 자연어 프롬프트로 지시가 내려지면, 사람을 대신해 전사적자원관리(ERP), 오피스 소프트웨어 등으로 결과물을 만들어낸다. 도로 상황을 인식하고 알아서 운전하는 자율주행 자동차를 AI 에이전트와 유사한 사례로 볼 수 있다.

AI 에이전트가 기존 챗봇, 어시스턴트와 다른 점은 ‘자율성’과 ‘실행 능력’이다. 챗봇은 미리 만들어진 시나리오나 목록, 규칙에 의존해 사용자 질문에 단순히 반응한다. 어시스턴트는 자연스러운 답변이나 결과물 생성은 가능했으나 업무 처리의 보조 역할을 넘어서지는 못했다.

반면, AI 에이전트는 자율성과 실행 능력을 바탕으로 업무를 처리한다. 방대한 데이터를 실시간 분석해 상황을 종합적으로 이해하며, 그에 따른 계획과 해결책을 제시한다. 예를 들어 고객이 복잡한 문제를 제기하면 이를 즉시 해결하거나 필요할 경우 담당 직원에게 이관하는 일이 가능하다. 이처럼 정보 제공을 넘어 업무에 개입함으로써 생산성을 높일 수 있다는 점이 AI 에이전트가 기존 기술에 비해 차별화된 지점이다.

올거나이즈 이원강 부대표는 “챗GPT가 모습을 드러내고 2년여간 AI는 빠른 기술 발전으로 대중을 놀라게 했다. 이제 그것만으로는 부족하다. AI로 무엇을 할 수 있는지 보여줘야 하는 시점이다. AI가 지닌 가치를 증명하기 위한 시도가 바로 AI 에이전트다”라고 설명했다.

에이전틱 AI는 시스템, AI 에이전트는 개별 소프트웨어

가트너는 지난해 ‘2025년 10대 전략 기술 트렌드’ 중 하나로 ‘에이전틱 AI(Agentic AI)’를 꼽은 바 있다. 가트너에 따르면, 에이전틱 AI는 사용자가 정의한 목표를 달성하기 위해 자율적으로 계획하고 실행하는 시스템으로, 목표를 달성하기 위해 메모리, 계획, 도구 활용 등 여러 기능과 결합해 스스로 작업을 할 수 있다.

설명만 들어보면 에이전틱 AI와 AI 에이전트는 거의 유사하다. 두 기술 모두 자율성을 강조하며 특정 목표를 위한 수행 능력까지 갖춘 것으로 정의된다. 이 때문에 국내외 AI 시장에서는 두 기술을 거의 같은 뜻을 지닌 동의어처럼 사용하기도 한다.

이에 몇몇 전문가는 혼동을 막고자 AI 에이전트를 에이전틱 AI의 하위 집합(Subsets)이라고 소개한다. 가트너 톰 코쇼(Tom Coshow) 수석 디렉터 분석가는 자사 팟캐스트에서 “AI 에이전트는 AI 기술을 사용해 디지털 또는 물리적 환경에서 인지하거나 의사결정을 내림으로써 행동하고 목표를 달성하는 자율 또는 반자율(Semi-Autonomous) 소프트웨어 개체(Entity)”라며 “계획을 세우는 데 LLM을 활용하기도 하나 엄연히 AI 모델과는 다르다”라고 설명했다.

다시 말해, 에이전틱 AI는 스스로 계획을 세우고 행동으로 옮길 수 있는 시스템, AI 에이전트는 그러한 성격을 띠는 개별 소프트웨어로 이해할 수 있다. AI 에이전트에는 AI 모델뿐 아니라 다른 소프트웨어 구성 요소가 포함돼 실제 업무 수행으로 연결되는 역할까지 구현하는 것이다.

가령 AI 에이전트로 복잡한 송장을 처리할 경우, 문서를 읽고 어떤 내용을 넣을지 계획을 세우는 과정이 필요하다. 여기서 LLM이 전체 작업 계획을 수립하고 확보한 데이터로 정보를 생성한다면, 만들어진 내용을 입력하고 전송하는 등 업무는 다른 소프트웨어가 돕는 식이다. 더 나아가 제작된 송장을 기반으로 추후 일정을 정리하거나 고객에게 연락하는 일까지 연계할 수도 있다. 이처럼 구체적 업무 수행이 가능하도록 일련의 기술이 결합한 소프트웨어가 AI 에이전트다.

국내 IT 업계 관계자들도 이와 유사하게 두 기술을 구분했다. 세일즈포스코리아 배상근 본부장은 “에이전틱 AI는 인간 개입 없이 AI가 스스로 판단하고 행동하는 기술의 발전 단계를 포괄적으로 의미한다. 반면, AI 에이전트는 이러한 에이전틱 AI를 기반으로 구현된 실제 시스템이다”라고 설명했다.

유아이패스코리아 백승헌 전무는 “AI 에이전트는 최소한의 인간 개입으로 의사결정을 내리고 행동하는 AI를 뜻한다. 특히 에이전틱 AI에 비해 자동화를 수행하는 주체인 ‘에이전트’에 조금 더 초점을 둔 용어다”라고 말했다.

과거 ‘지능형 에이전트’보다 더 고도화

사용자 업무를 대신한다는 측면에서 AI 에이전트는 과거 ‘지능형 에이전트’와도 의미가 유사하다. 지난 1997년 경기대학교 주석진 경영정보학과 교수는 논문 ‘지능형 에이전트의 동향’을 통해 “지능형 에이전트는 사용자로부터 지식을 제공받아 스스로 판단해 인터넷, 데이터베이스(DB) 같은 외부 환경으로부터 정보를 처리할 수 있는 능력을 갖게 된다”고 설명했다.

해당 논문에서 지능형 에이전트는 온라인 쇼핑에서 최저 가격 검토, 전자우편 수발신, 사용자 부재 시 일정 조정 등 적극적 업무 처리를 돕는 기술로 소개됐다. 속성 측면에서도 사용자 참여나 지시 없이 작업·목표를 달성할 수 있는 ‘자율성’과 정보에 접근하기 위한 다른 에이전트 또는 관련된 대상과의 ‘의사소통 능력’이 강조됐다. 20여 년 전 개념이지만 사례, 속성 모두 최근 AI 에이전트와 몇몇 부분에서 유사함을 확인할 수 있다.

두 개념 간 차이는 지능을 구성하는 기술의 발전 수준이다. 지능형 에이전트가 소개된 1990년대 후반 널리 알려진 AI는 IBM이 개발한 체스 특화 컴퓨터 ‘딥 블루(Deep Blue)’였다. 1997년 당시 딥블루는 11.38 기가플롭스(GFLOPS, 1초에 10억 회 연산)의 연산 능력을 보유했다. 28년여가 지난 지금, AI 데이터센터들은 기가플롭스보다 1백만 배 높은 ‘페타플롭스(PFLOPS, 1초에 1,000조 회 연산)’를 단위로 삼고 있다.

고도화된 기술력이 담긴 AI 에이전트는 지능형 에이전트와 실현할 수 있는 기능 범위에 큰 차이가 있다. LLM은 자연어로 쓴 프롬프트를 이해하고 그에 맞는 답변을 제공하며, 검색 증강 생성(RAG)은 내부 데이터를 기반으로 답변 정확도를 높일 수 있다. 오피스, 데이터베이스 관리 시스템(DBMS), ERP 등 다른 소프트웨어도 예전보다 다채로운 기능을 갖추고 있다. 따라서 지능형 에이전트와 AI 에이전트는 개념상 비슷하나 실제 해낼 수 있는 역량에 있어 현저한 차이가 있다고 볼 수 있다.

복잡한 업무 수행 위한 기술 집합체

AI 에이전트는 LLM과 같은 고도화된 AI를 바탕으로 여러 기술을 결합해 사람처럼 업무를 수행하는 소프트웨어다. 따라서 뛰어난 성능을 갖춘 AI 모델과 함께 데이터, 도구, 협업 채널 등 여러 요소가 조화를 이뤄야 한다.

우선, 높은 LLM 성능이 요구된다. LLM은 에이전트에서 ‘두뇌’에 해당하며 주어지는 문서, 이미지 등 여러 파일을 이해하고 처리하는 역할을 맡는다. 또 업무 수행 절차를 계획하고 필요시 추론으로 일정 수준의 의사결정까지 해결한다. 그 때문에 LLM 성능은 AI 에이전트가 수행할 수 있는 업무 범위와 그 수준에 큰 영향을 미친다. 똑똑한 LLM을 쓴다면 능력 있는 AI 에이전트를 만들 수 있다는 얘기다.

두 번째는 데이터다. LLM은 사전 학습된 모델로 기업 내 고유 데이터나 제각기 다른 정책, 가이드라인 등은 담고 있지 않다. AI 에이전트가 업무를 제대로 수행하려면, 기업 내 여러 데이터에 접근할 수 있어야 한다. 이를 위해 내부 데이터에 대한 LLM의 이해도를 높이고자, LLM을 미세 조정(Fine-tuning, 파인튜닝)하거나 RAG를 도입하기도 한다.

다음으로 여러 도구(Tool)가 필요하다. 이는 AI 에이전트가 실제 업무를 처리하는 데 필요하며, 사람으로 비유하자면 손발에 해당한다. LLM이 정보를 찾거나 텍스트를 생성하면, 도구는 이를 스프레드시트에 입력하고 필요시 ERP에 데이터를 업데이트하는 등 일련의 작업을 수행한다. 업무 자동화 도구나 내부 시스템과 연결할 수 있는 API도 이에 포함된다.

사람과 AI 에이전트 간 협업을 위한 지원 채널도 갖춰져야 한다. AI 에이전트가 모든 일을 혼자서 수행할 수는 없다. 업무상 중요한 의사결정은 사람이 내려야 하며, 발생할 수 있는 문제를 예방하고자 사람이 확인해야 하는 일도 존재한다. 따라서 사람과 AI 에이전트 간 협업을 가능케 하는 적절한 제어 기능이 필요하다.

초기 시장 선점 나선 글로벌 빅테크

AI 에이전트는 정보 전달, 콘텐츠 생성을 넘어 실제 업무에 적용할 수 있다는 점에서 시장으로부터 많은 주목을 받고 있다. 특히 AI의 필요성을 느끼나 투자수익률(ROI)로 도입을 망설이던 기업들을 설득하는 요인이 될 전망이다.

AI 에이전트는 초기 시장인 만큼 정확한 규모를 가늠하기가 어렵다. 글로벌 시장조사기관 그랜드뷰리서치는 지난 2023년 AI 에이전트 시장 규모가 38억 6,000만 달러(약 5조 6,300억 원)였으며, 이후 연평균 44.3% 성장해 2030년 503억 1천만 달러(약 73조 3,800억 원)에 이를 것으로 전망했다. 하지만 해당 조사는 머신러닝, 자연어 처리(NLP), 딥러닝 등 전통적 AI 기술을 주로 다루고 있어 현재 AI 에이전트 시장 규모를 예측하는 데 적절한 자료라 보기 힘들다.

글로벌 빅테크는 AI 에이전트가 지닌 가능성을 주목해 초기 시장 선점에 공을 들이고 있다. 가장 적극적인 기업은 마이크로소프트(MS)다. MS는 MS 365 코파일럿을 중심으로 AI 에이전트 제품군을 확대하고 있다. 코파일럿은 MS 솔루션 전반에 탑재돼 이메일 작성, 회의 요약, 프레젠테이션 디자인 등 일상 업무를 돕는다. 사용자는 코파일럿과 상호작용함으로써 업무를 더 효율적으로 수행할 수 있다.

MS는 누구나 맞춤형 에이전트를 개발할 수 있도록 ‘코파일럿 스튜디오’도 제공한다. 개발 지식이 없더라도 필요 데이터를 연결해 에이전트를 만들 수 있다. 전문 개발자에게는 ‘애저 AI 에이전트 서비스’가 제공된다. 이 솔루션으로 개발자는 적절한 언어모델을 선택해 복잡한 워크플로우를 간소화하는 에이전트 기반 앱을 제작할 수 있다. 이를 통해 주문 처리, 고객 데이터 동기화 등 복잡한 작업을 자동화하는 일이 가능하다.

오픈AI도 AI 에이전트 출시를 준비 중이다. 블룸버그 등 외신에 따르면, 오픈AI는 올 1월 출시를 목표로 ‘오퍼레이터(Operator)’라는 코드명의 AI 에이전트를 개발하고 있다. 블룸버그는 오픈AI가 웹 브라우저에서 작업을 실행하는 범용 도구로 선보일 가능성이 높다고 보도했다. 다만 세부 기능이나 출시 일정 등은 공식적으로 알려진 바가 없다.

구글은 AI 에이전트 시대에 적합한 새로운 AI 모델을 내놓았다. 구글은 지난해 12월 차세대 모델 ‘제미나이 2.0 플래시’를 공개했다. 이 모델은 멀티모달 추론, 긴 맥락(Context, 컨텍스트) 이해, 복잡한 명령 수행 및 계획 등 여러 기능 개선으로 에이전트형 기반 경험을 제공한다.

이 밖에도 구글은 △일상적 상호작용이 가능한 ‘프로젝트 아스트라(Project Astra)’ △복잡한 작업 해결을 돕는 ‘프로젝트 마리너(Project Mariner)’ △AI 기반 코드 에이전트 ‘줄스(Jules)’ 등 다양한 AI 에이전트 관련 실험을 이어가고 있다.

업무 연계 강점 내세워 경쟁 뛰어든 B2B 솔루션

AI 에이전트의 파급력은 전 소프트웨어 영역으로 퍼져가고 있다. LLM 개발을 주도하던 AI 기업뿐 아니라 기업용 B2B 솔루션을 제공하던 업체에서도 자사 역량을 바탕으로 AI 에이전트 시장에 도전장을 내밀고 있다.

25년간 고객관계관리(CRM) 분야에서 활약해 온 세일즈포스는 지난해 ‘에이전트포스’를 발표했다. 에이전트포스는 사전 구축된 템플릿을 기반으로 조직 구성원이 영업, 마케팅, 커머스 등 고객 접점에서 쉽게 맞춤형 AI 에이전트로 개발·배포하도록 지원하는 플랫폼이다. 앱, 데이터, 플랫폼이 모두 통합된 플랫폼으로 LLM을 학습시키고 데이터를 통합하는 과정 없이 AI 에이전트를 신속히 도입할 수 있다.

지난해 12월에는 ‘에이전트포스 2.0’ 업데이트로 AI 에이전트 역량을 강화했다. 이번 업데이트를 통해 △슬랙·태블로 통합 기능 강화 △아틀라스 추론 엔진 개선 △사전 구축된 스킬 라이브러리 기능이 더해졌다. 자연어로 AI 에이전트를 손쉽게 구축할 수 있는 ‘AI 어시스트’도 새롭게 선보였다.

로봇 프로세스 자동화(RPA)로 널리 알려진 유아이패스는 자동화와 AI 간 결합으로 ‘에이전틱 자동화(Agentic Automation)’ 구현에 나섰다. LLM이 지능을, RPA가 손발을 맡아 완전한 자동화를 일군다는 목표다. 특히 유아이패스에서는 기업이 안정적으로 분야별 업무에 적용할 수 있는 ‘엔터프라이즈 에이전트’를 지향하고 있다.

이러한 방향성이 담긴 솔루션이 ‘오토파일럿’이다. 유아이패스가 지난해 11월 출시한 ‘오토파일럿 포 에브리원’은 일반 사용자가 여러 업무 프로그램을 연계해 작업을 완료할 수 있는 에이전트 환경을 제공한다. 사용자가 자연어로 업무 수행을 요청하면 오토파일럿은 관련 애플리케이션과 연결되고, 기존에 만들어진 자동화 프로세스 중 적합한 것을 호출해 문제를 해결한다.

올해는 사용자가 필요할 때 원하는 대로 에이전트를 만들 수 있는 ‘에이전트 빌더’를 출시할 예정이다. 이는 업무에 필요한 요소를 연결해 맞춤형 에이전트를 만드는 솔루션이다. 유아이패스는 에이전트 빌더뿐 아니라 사전 구축된 에이전트를 가져와 쓸 수 있는 카탈로그도 제공할 계획이다.

해외 시장 뒤쫓는 국내 AI 업계

국내에서도 AI 에이전트를 주목하고 있으나 시장에서의 움직임은 아직 두드러지지 않는다. 네이버는 지난해 ‘하이퍼클로바X’를 검색·쇼핑 등 자사 서비스에 도입하는 ‘온 서비스 AI(On-Service AI)’ 전략을 발표하며 AI 사업을 위한 행보를 지속하고 있다. 하지만 AI 에이전트에 대한 방향성은 구체적으로 밝혀지지 않았다.

지난해 말 ‘엑사원 3.5’를 오픈소스로 공개한 LG AI연구원은 올해 거대행동모델(LAM, Large Action Model)에 기반한 AI 에이전트 개발을 목표로 하고 있다. LLM이 자연어를 이해하는 모델이라면, LAM은 사용자 행동 패턴을 학습해 문제를 해결하는 모델을 의미한다.

스타트업에서도 AI 에이전트로의 변화를 모색하고 있다. 올거나이즈는 올해 ‘에이전트 RAG’를 자사 LLM 플랫폼 ‘알리(Alli)’에 탑재할 예정이다. 에이전트 RAG는 질의응답 내 맥락을 파악, AI가 역으로 사용자에게 상세한 질문을 되물음으로써 답변 완성도를 향상하는 기술이다.

한편, 자동화 솔루션 전문기업 그리드원은 지난해 4월 AI 에이전트 서비스 ‘고두(GO;DO)’를 출시했다. 지난 20년간 개발한 RPA 및 AI 솔루션에 LLM을 결합해 업무 자동화 AI 에이전트를 개발했다. 이를 통해 LLM이 외부 환경과 소통해 티켓을 예매하거나 이메일을 보내는 등 여러 업무를 사용자 대신 수행하는 기능을 제공한다.

향후 과제는 기술 향상 및 업무 문화 개편

AI 에이전트가 목표로 하는 지닌 기술적 과제는 수준 높은 의사결정 능력이다. AI 에이전트는 스스로 판단을 내려 업무를 수행하는데 그 의사결정 과정에서 부적절한 문제가 발생하지 않으리란 보장은 없다. 얼마나 정확한 판단을 내릴 수 있는지가 앞으로 AI 에이전트의 성패를 결정하는 요인이 될 것이다.

세일즈포스코리아 배상근 본부장은 “AI 에이전트는 더욱 정교한 의사결정 능력과 안정적인 실행력을 갖춰야 한다”며 “특히 환각(Hallucination) 현상 같은 부정확한 데이터 생성 문제를 해결하고 보안과 개인정보 보호를 강화하는 게 핵심 과제”라고 강조했다.

데이터 차원에서 이전과 다른 접근이 필요하다는 의견도 있다. 포티투마루 김동환 대표는 “의사결정에는 방대한 데이터 못지않게 경험, 노하우 같은 요소도 필요하다. 이러한 정보는 웹상 데이터나 업무 매뉴얼과 궤를 달리한다”고 말했다.

이어 김 대표는 “스스로 행동하고 판단하는 AI 에이전트의 수준이 높아지려면 사람의 의사결정 과정과 행동을 모사할 수 있는 데이터도 필요하다”며 “앞으로는 데이터의 양보다 질적 수준이 더욱 중요해질 것”이라고 덧붙였다.

AI 에이전트 도입 후 달라진 업무 문화에 대한 준비도 이뤄져야 한다. 향후 업무 생산성을 높이기 위해서는 사람과 에이전트가 조화로이 일하는 환경이 마련돼야 할 필요가 있다.

유아이패스코리아 이봉선 전무는 “AI 에이전트는 무한한 가능성을 지닌 새로운 업무 도구이면서 사람처럼 학습으로 발전할 수 있는 자율 시스템”이라며 “AI 에이전트가 일하는 방식을 배우는 과정에서 직원의 피드백이 중요하다. 또 AI 에이전트로 변화하는 업무 환경에 맞춰 기업 내부 정책을 정비하고 이를 일관성 있게 유지해야 한다”고 조언했다.