남몰래 AI 활용하는 직원들, 기업에 ‘리스크’…‘AI 거버넌스’로 모니터링·통제

[아이티데일리] 최근 몇 년 사이, 인공지능(AI) 기술 자체보다 빠르게 성장하고 있는 분야는 AI를 신뢰할 수 있는 상태로 유지하기 위한 제품 및 서비스를 다루는 ‘AI 거버넌스’ 시장이다.

미국 시장조사기관인 마켓앤마켓(Markets & Markets)의 최근 보고서에 따르면, 지난해 전 세계 AI 거버넌스 시장 규모는 8억 9,000만 달러였으며, 그 규모는 오는 2029년까지 58억 달러로 성장할 것으로 전망된다. 이는 연평균 성장률이 45% 이상에 달한다는 의미다.

마켓앤마켓 애널리스트는 “AI 시스템이 중요한 의사 결정을 내리는 시대가 된 지금, 알고리즘의 편향, 데이터 유출, 윤리 위반 등 예기치 못한 위험이 규제 당국과 이해관계자들의 주목을 받고 있다. 그만큼 기업은 큰 압박에 직면할 수밖에 없다”고 말했다.

이러한 흐름 속에서 주목받고 있는 스타트업 중 하나가 실리콘밸리의 거점도시 샌프란시스코에서 창업한 언바운드(Unbound'라고 포브스지는 전했다. 언바운드는 특히 데이터 프라이버시와 보안에 초점을 맞추고 있다고 한다.

회사 홈페이지를 방문하면 다양한 정보가 제공되는데, 지난 5월 말에는 레이스캐피탈 주도로 400만 달러의 투자를 유치했다. 회사가 내놓은 코딩 에이전트는 80%의 비용을 절감할 수 있다고 밝히고 있다. 또한 자사 솔루션을 통해 조직 전반에 걸친 가시성을 보장하며, 자동 오류 처리 기능을 제공하고 있다고 한다. 이 부분이 Ai 거버넌스를 지원하는 프라이버시 및 보안 기능이 된다. 그러면서 “보안을 유지하면서 차세대 AI 도구를 활용하라”고 제안하고 있다.

언바운드의 공동창업자 겸 CEO인 인도계 라자람 스리니바산은 포브스와의 인터뷰에서 “많은 기업들이 AI 관련 정책을 수립하고 있지만, 실제로 직원들에게 이를 강제할 수는 없다”며 “인바운드는 이를 자동화할 수 있는 게이트웨이를 제공하고 있다”고 설명했다.

언바운드의 고객사는 자사가 도입한 AI 도구에 언바운드 플랫폼을 연결한다. 이 플랫폼은 직원들의 AI 도구 사용 실태를 모니터링하고, 기밀 정보가 대규모언어모델(LLM)로 넘어가지 않도록 사용 데이터를 검사한다. 또한, 신규 도구의 테스트나 사용 비용 모니터링에도 활용할 수 있다.

스리니바산은 “기업은 사용 중인 데이터를 가시화하고 데이터 유출로부터 보호받고 있다고 보장받는 동시에, 기술 발전에 따라 더 나은 모델로 전환하길 원한다”며 “언바운드의 도구는 그러한 기업의 요구를 충족시키는 것”이라고 말했다.

언바운드의 아이디어는 고객의 폭넓은 지지를 받고 있다. 홈페이지에 따르면 언바운드는 2023년 창업 이래 의료, 기술 등 데이터 관리에 민감한 산업을 중심으로 많은 기업 고객을 확보했다. 공동 창업자이자 CTO인 비네쉬 수비아에 따르면, 고객사들은 언바운드의 도구를 통해 7,000건 이상의 잠재적 데이터 유출을 이미 방지했다고 한다.

홈페이지에 소개된 기업 고객 중 인지도가 있는 기업만도 지멘스, 위워크, 에어텔, MIT, 플립카트, 익스테로 등 다수다. 영국에 본사를 둔 전자상거래 기업 THG인제뉴이티 역시 언바운드 플랫폼을 조기에 도입한 회사 중 하나다. 회사의 CISO(최고정보보안책임자) 아브라함 인가솔은 “인바운드 솔루션으로 직원들이 AI 도구를 최대한 활용하면서도 과도한 위험을 감수하지 않게 되었다”고 말했다.

2년이라는 짧은 기간 동안 다수의 고객을 확보함에 따라 세간의 회사에 대한 관심도 높아지고 있다. 지난 5월 말 400만 달러의 투자 유치가 이를 말해 준다. 이는 초기 자금 모집에 해당하는 시드머니 라운드였다. 여기에는 레이스캐피탈 외에 Y 컴비네이터, 웨이파인더 벤처스, 매시브 테크 벤처스 등 VC들과 다수의 엔젤 투자자들이 참여했다.

다수의 시장 전망 보고서를 보면 엔터프라이즈용 AI 시장은 2033년까지 전 세계적으로 최소 4조 8,000억 달러 이상 규모에 이를 것으로 예상된다. 그러나 적절한 안전 장치, 즉 거버넌스가 없다면 그 가치는 위협받을 수 있다. 기업이 직면한 AI 위험 중 대표적인 하나는 ‘직원이 회사 허가 없이 AI 도구를 업무에 사용하는 '섀도우 AI(Shadow AI)' 문제다.

한편, AI 거버넌스를 차세대 비즈니스로 삼아 창업하는 스타트업들도 크게 늘고 있다. 스타트어스 인사이트(StartUs Insights)가 올해 초 발표한 보고서에 따르면, AI 거버넌스 분야에는 세계적으로 1,000개 이상의 스타트업이 존재하며 다양한 서비스를 제공하고 있다.

그 중 대표적인 스타트업은 미국의 페어나우(FairNow), 독일의 트레일(Trail) 등 위험 관리에 특화된 기업들이다, 그리고 아일랜드의 인스펙AI(Inspeq AI), 호주의 콤플라이AI(KomplyAI) 등 컴플라이언스(규제 준수) 솔루션에 특화된 기업도 있다.