[분석]AI 운용비 폭등, 엔비디아 의존 탈피에 도전하는 AI 신흥기업

[아이티데일리] 생성형 AI의 확산 속도가 빨라짐에 따라 기업들이 부담하는 비용도 눈덩이처럼 불어나고 있다. AI 컴퓨팅 자체가 많은 에너지를 소모하기 때문이다. 중소기업이 복수의 생성형 AI 도구를 도입하면, 한 달 구독료만 300달러를 훌쩍 넘는 경우가 흔하다. AI 에이전트로 나아가면 사정은 더욱 복잡해진다.

AI는 겉으로는 저렴하고 접근성이 좋은 도구처럼 보이지만, 실제로는 개발자든 이용자든 많은 기업에게 큰 재정적 압박으로 작용하고 있다. AI 개발 기업의 경우 비용 부담은 더욱 심하다. 데이터센터를 비롯해 엄청난 인프라가 필요하기 때문이다.

비용의 상당 부분은 소프트웨어 자체가 아니라 백엔드 하드웨어, 특히 추론(inference) 과정에서 발생한다. 학습은 막대한 초기 비용이 들지만 한 번 끝나면 유지비가 크게 들지 않는다. 반면 추론은 사용자가 요청할 때마다 매번 실행되며, 하루에도 수억~수십억 번 반복된다. 결국 AI를 쓰는 한 끊임없이 발생하는 전력 소모와 클라우드 요금이 기업 운영비를 크게 끌어올리고 있다. 업계에서는 이를 두고 “추론은 AI의 전기세”라는 말까지 나온다.

이 구조를 사실상 지탱하고 있는 것은 엔비디아의 GPU다. GPU는 범용성을 강점으로 학습 단계에서 탁월한 성능을 발휘하지만, 추론까지 맡기기에는 전력 효율성이 떨어진다. 그 결과 고가의 GPU와 이를 기반으로 한 클라우드 서비스에 업계 전체가 종속되었고, 이는 곧 중소기업과 개인 사용자에게 높은 비용 장벽으로 돌아오고 있다.

이 같은 상황에 도전장을 내민 것은 신흥 하드웨어 스타트업들이다. 포브스, CNBC, 비즈니스인사이더 등 외신에 소개된 회사들은 포지트론 AI(Positron AI), 그록(Groq), 세리브라스 시스템즈(Cerebras Systems), 삼바노바 시스템즈(Sambanova Systems) 등이 대표적이다. 이들은 GPU 의존을 줄이고 추론 전용 칩이나 특화 시스템을 통해 전력 소모와 비용을 획기적으로 절감하려는 전략을 내세우고 있다.

위 외신들 보도를 종합하면, 특히 포지트론 AI는 FPGA 기반의 추론 전용 시스템 아틀라스(Atlas)를 선보이며 주목받고 있다. FPGA는 ‘Field Programmable Gate Array’의 머릿글자로 프로그래밍이 가능한 반도체다.

GPU의 메모리 대역폭 활용률이 30% 수준에 머무는 데 비해, 아틀라스는 93%까지 끌어올렸다. 전력 소모는 66% 줄였고, 비용 대비 성능도 3.5배 향상됐다. 무엇보다 기존 코드 수정 없이 곧바로 적용이 가능해 클라우드플레어(Cloudflare), 크루소(Crusoe) 등 대형 고객을 확보하는 성과를 냈다.

최근에는 시리즈 A 투자 라운드에서 5,160만 달러를 조달하며 차세대 시스템 타이탄(Titan) 개발에 속도를 내고 있다. 타이탄은 최대 16조 파라미터급 모델까지 지원할 수 있도록 설계되고 있다고 한다.

다른 신흥 경쟁사들도 뚜렷한 차별화를 내세우고 있다. 그록은 초저지연 추론으로 밀리초 단위 응답을 구현했고, 세리브라스는 보안이 중요한 국방·인프라 분야를 겨냥했다. 삼바노바는 학습된 모델을 통째로 제공하는 풀스택 방식을 택했다. 공통점은 모두 엔비디아 GPU 의존 구조를 깨고 AI 활용의 저변을 넓히려 한다는 점이다. 이들 중 그록은 삼성전자와 협력 계약을 맺고 칩을 공동개발하는 한편 삼성전자 미국 반도체 공장에서 차세대 칩을 생산하게 된다.

한국에서는 퓨리오사AI와 리벨리온, 가온칩스, 모레텍 등이 연구개발에 공격적으로 나서고 있다. 퓨리오사AI는 한국의 대표적인 AI 반도체 스타트업으로 추론에 특화된 자체 AI 가속기 칩 워보이(Warboy)를 개발, 현재 테스트를 진행 중이다. 다만 범용성보다는 특정한 영역에서 엔비디아 칩을 대체할 수 있다. 리벨리온이 개발한 아톰(Atom) 칩은 금융권 AI 연산에 최적화되어 있으며, 차세대 칩 이온(Ion)도 개발 중에 있다.

물론 엔비디아의 최대 경쟁자는 현실적으로 AMD와 인텔이다. AMD는 MI300 시리즈로 성능 향상에 주력하고 있으며, 최근 마이크로소프트와 메타 등 빅테크에 대한 공급도 활발하다. 인텔도 가우디 시리즈로 시장을 공략하고 있다. 가격 대비 성능은 우수한 것으로 평가되고 있으며, 오픈소스 생태계 쪽을 겨냥하고 있다.

현실적으로 엔비디아의 아성을 위협하기에는 아직 경쟁자들의 힘이 부족하다. 오랜 세월에 걸쳐 축적한 기술과 칩 성능으로 무장한 엔비디아가 구축한 공급망이 워낙 탄탄하기 때문이다. 중기적으로는 AMD가 가장 유력한 대항마가 될 것으로 예상된다.

엔비디아의 경쟁자들이 성공한다면, 현재 월 300달러에 달하는 AI 사용료는 30달러 수준으로 떨어질 수 있다. 나아가 개인 PC나 소규모 서버에서도 AI를 자유롭게 실행할 수 있는 시대가 열릴 가능성이 높다다. 포브스의 표현을 빌리면, 이는 단순한 비용 절감을 넘어, ‘AI 민주화’ 라는 새로운 변화를 의미한다. AI의 통제권이 소수의 빅테크 기업에서 벗어나 더 많은 개인과 중소기업에게 돌아간다는 것이다.

AI 산업의 승부처가 더 이상 거대한 모델 자체가 아니라, 그것을 얼마나 저비용·고효율로 운영할 수 있는가로 옮겨가고 있다는 점에서, 추론 혁명은 산업 질서를 뒤흔들 차세대 경쟁 무대가 되고 있다.