팔리젬마 등에 NIM 지원…개발자 플랫폼에 ‘래피즈 cuDF’ 제공

엔비디아와 구글 딥마인드가 LLM 혁신을 추진하고자 새로운 협업 계획을 발표했다.
엔비디아와 구글 딥마인드가 LLM 혁신을 추진하고자 새로운 협업 계획을 발표했다.

[아이티데일리] 엔비디아(NVIDIA)는 지난 14일 열린 구글(Google) 연례 개발자 콘퍼런스인 ‘구글 I/O 2024’에서 3가지 새로운 협업 내용을 공개했다고 밝혔다. 이번 협업으로 엔비디아와 구글을 인공지능(AI) 기반 애플리케이션을 더욱 쉽게 만들 수 있도록 개발자를 지원할 계획이다.

우선, 엔비디아는 이번 콘퍼런스에서 구글이 선보인 새로운 모델 ‘젬마 2(Gemma 2)’와 ‘팔리젬마(PaliGemma)’를 최적화하기 위해 텐서RT-LLM(TensorRT-LLM)을 사용하고 있다. 해당 모델들은 모두 제미나이(Gemini)를 만드는 데 사용된 동일한 연구와 기술을 기반으로 구축됐다.

젬마 2와 팔리젬마는 엔비디아의 NIM 추론 마이크로서비스와 함께 제공된다. 두 모델에 대한 NIM 지원은 팔리젬마를 시작으로 API 카탈로그에서 사용할 수 있으며, 곧 엔비디아 NGC와 깃허브(GitHub)에서 컨테이너로 출시될 예정이다.

데이터 과학자를 위한 개발자 플랫폼인 구글 코랩(Colab)에서는 오픈소스 GPU 데이터 프레임 라이브러리인 ‘래피즈 cuDF(RAPIDS cuDF)’가 기본으로 지원된다. 구글 코랩 사용자들은 코드 변경 없이 단 몇 초 만에 엔비디아 L4 텐서 코어(Tensor Core) GPU를 사용해 판다스(pandas) 기반 파이썬(Python) 워크플로우를 최대 50배까지 가속화할 수 있다.

이를 통해 개발자는 탐색적 분석과 생산 데이터 파이프라인의 속도를 높일 수 있다. 판다스는 데이터 규모가 커질수록 애플리케이션에 문제가 발생한다. 래피즈 cuDF는 GPU에서 판다스 코드를 원활하게 가속하고, 그렇지 않은 경우 CPU-판다스(CPU-pandas)로 되돌아가 이 문제를 해결하도록 설계됐다.

엔비디아와 구글은 엔비디아 RTX 그래픽을 사용해 AI PC를 활용하는 파이어베이스 젠킷(Firebase Genkit)에 대한 협업도 발표했다. 앞으로 개발자가 새로운 젬마 모델 제품군을 비롯한 생성형 AI 모델을 웹과 모바일 애플리케이션에 쉽게 통합해 맞춤형 콘텐츠, 시맨틱 검색(semantic search), 문의에 대한 답변을 제공할 수 있을 전망이다.

한편, 엔비디아와 구글 클라우드는 AI의 발전을 위해 다양한 분야에서 협력하고 있다. 곧 출시될 그레이스 블랙웰(Grace Blackwell) 기반 DGX 클라우드 플랫폼과 JAX 프레임워크 지원부터 구글 쿠버네티스 엔진(Kubernetes Engine)에 엔비디아 네모(NeMo) 프레임워크를 도입할 예정이다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지