[아이티데일리] 레드햇은 하이브리드 클라우드 전반에서 AI 솔루션의 개발 및 배포를 가속화할 수 있도록 설계된 ‘레드햇 AI(Red Hat AI)’를 고도화했다고 27일 밝혔다.

‘레드햇 오픈시프트 AI(Red Hat OpenShift AI)’와 ‘레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)’로 구성된 레드햇 AI는 모델 학습 및 추론을 위한 엔터프라이즈 AI 플랫폼으로 향상된 효율성과 간소화된 사용자 경험, 하이브리드 클라우드 환경 어디서든 배포할 수 있는 유연성을 제공한다. 사용자가 비즈니스별 데이터에 맞춰 보다 효율적이고 최적화된 모델을 채택하고 하이브리드 클라우드 전반에 배포해 광범위한 가속 컴퓨팅 아키텍처에서 학습 및 추론을 수행할 수 있는 엔터프라이즈 AI 플랫폼을 제공함으로써 이 같은 과제의 해결을 돕는다.

먼저 레드햇 오픈시프트 AI는 머신러닝 운영(MLOps)과 LLM 운영(LLMOps) 기능을 포함해 하이브리드 클라우드 전반에서 예측 및 생성형 AI 수명 주기를 관리할 수 있는 종합 AI 플랫폼이다. 데이터 과학 및 모델 파이프라인, 모델 모니터링, 거버넌스 등 AI 모델 관리를 간소화하는 도구와 예측 모델을 구축하고 생성형 AI 모델을 조정할 수 있는 기능을 제공한다.

최신버전인 레드햇 오픈시프트 AI 2.18은 하이브리드 클라우드에 최적화되고 효율적인 AI 모델을 제공하고자 △분산 제공(Distributed serving) △엔드투엔드 모델 조정 경험(An end-to-end model tuning experience) △AI 가드레일(AI Guardrails) △모델 평가(Model evaluation) 등 기능이 추가됐다. 분산 제공은 vLLM 추론 서버를 통해 제공되는 분산 서빙을 통해 IT 팀은 여러 그래픽 처리 장치(GPU)에 걸쳐 모델 서빙을 분할할 수 있는 기능이다. 이를 통해 단일 서버에 대한 부담을 줄이고 학습 및 미세 조정 속도를 높이며, 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있는 동시에 AI 모델에 대한 노드 간 서비스 분산도 지원한다.

엔드투엔드 모델 조정 경험은 인스트럭트랩(InstructLab)과 레드햇 오픈시프트AI의 데이터 사이언스 파이프라인을 활용해 LLM의 미세 조정을 간소화함으로써 대규모 프로덕션 환경에서 확장성과 효율성, 감사 가능성을 높일 수 있다. 또한 레드햇 오픈시프트 AI 대시보드를 통한 관리 편의성도 제공한다.

세 번째로 AI 가드레일은 사용자 입력 상호작용과 모델 출력을 모두 모니터링하고 더 잘 보호함으로써 LLM의 정확도, 성능, 지연 시간, 투명성을 개선한다. IT팀이 혐오, 욕설, 개인 식별 정보, 경쟁 정보, 또는 기업 정책에 의해 제한된 기타 데이터 식별하고 완화하는 데 도움이 되는 탐지 기능도 제공한다.

마지막으로 모델 평가 기능은 언어 모델 평가(lm-eval) 구성 요소를 사용해 모델의 전반적 품질 정보를 제공한다. 이를 통해 데이터 과학자는 논리적, 수학적 추론부터 적대적(adversarial) 자연어 처리까지 다양한 작업에서 LLM 성능을 벤치마킹해 효과적이고 반응성이 뛰어난 맞춤형 AI 모델을 개발할 수 있다.

엔터프라이즈 애플리케이션 구동을 위한 LLM을 보다 일관되게 개발, 테스트 및 실행할 수 있는 파운데이션 모델 플랫폼인 레드햇 엔터프라이즈 리눅스 AI에는 ▲그래니트 3.1 8B 모델 지원 ▲기술 및 지식 제공을 위한 신규 GUI ▲문서 지식 벤치가 추가됐다. 먼저 그래니트 3.1 8B 모델을 지원하게 됐다. 그래니트 모델 제품군에 새롭게 추가된 해당 모델은 추론 및 분류 체계/지식 커스터마이징(개발자 프리뷰)을 위한 다국어 지원과 향상된 요약 결과 및 검색 증강 생성(RAG) 작업을 위한 128k 컨텍스트 윈도우 기능을 추가했다.

기술 및 지식 제공을 위한 신규 GUI도 지원한다. 개발자 프리뷰로 제공되며 데이터 수집 및 청킹(chunking) 간소화와 사용자 고유의 기술과 지식을 AI 모델에 추가할 수 있도록 지원한다. 다음으로 문서 지식 벤치(Document Knowledge-bench, DK-bench) 관련 비공개 데이터로 미세조정된 AI 모델을 동일한 기본 모델의 성능과 쉽게 비교할 수 있는 기능도 추가됐다.

이와 함께 레드햇은 IBM 클라우드에 서비스 형태로 배포된 ‘레드햇 AI 인스트럭트랩’도 제공하고 있다. 레드햇 AI 인스트럭트랩은 AI 모델의 학습 및 배포를 간소화하고 확장하며 보안 영역을 향상할 수 있도록 설계됐다. 인스트럭트랩 모델 조정을 간소화함으로써 자사의 고유한 요구사항에 최적화된 효율적인 모델을 구축하면서 데이터 통제권을 유지할 수 있다.

레드햇 조 페르난데스(Joe Fernandes) AI 사업부 부사장은 “레드햇은 기업이 더 많은 활용 사례를 프로덕션에 도입하고 대규모로 실행함에 따라 증가하는 생성형 AI 배포 비용을 관리할 수 있는 방법이 필요하다는 것을 알고 있다. 또한 AI 모델을 자사의 고유 데이터에 통합하는 문제를 해결하고 데이터 위치에 무관하게 모델을 배포할 수 있어야 한다. 레드햇 AI는 기업이 자사 데이터를 기반으로 보다 효율적이고 특수 목적 모델을 학습시켜 온프레미스, 클라우드, 엣지 환경 전반에서 유연한 추론을 지원한다”고 말했다.