[아이티데일리] 프렌들리에이아이(대표 전병곤)는 초거대언어모델(LLM)의 학습 효율을 향상할 수 있는 시스템인 ‘비파이프(BPipe)’를 이달 25일 열리는 국제머신러닝학회(ICML 2023)에서 발표한다고 밝혔다.

프렌들리AI가 개발한 비파이프는 학습 시 저장해야 하는 중간 계산 결과물을 메모리 여유가 있는 GPU에 맡겨 두는 새로운 ‘파이프라인 병렬화’ 방법을 통해 메모리 불균형을 해결하는 시스템이다. 결과적으로 같은 언어모델을 더 빠르고 효율적으로 학습할 수 있다. 기존의 파이프라인 병렬화가 여러 일꾼에게 각각 다른 무게의 짐을 들게 하는 방식이라면, 비파이프는 가벼운 무게의 짐을 가진 일꾼이 무거운 무게의 짐을 가진 일꾼의 짐을 필요할 때 잠시 맡아주는 방식이다.

분산학습 기술 중 하나인 파이프라인 병렬화는 서로 다른 GPU가 초거대 언어모델 내의 서로 다른 레이어들을 파이프라인화 하여 처리하는 기술이다. 해당 기술은 각 GPU가 최대로 사용하는 메모리에서 각각 불균형이 생긴다는 단점이 있다.

프렌들리AI는 이달 25일부터 27일까지 미국 하와이에서 열리는 AI 분야 학회인 국제머신러닝학회(ICML)에서 ‘BPipe: Memory-Balanced Pipeline Parallelism for Training Large Language Models’이라는 제목으로 비파이프를 공개할 예정이다.