[아이티데일리] 카이스트(총장 이광형)는 전기 및 전자공학부 김주영 교수 연구팀이 거대언어모델(LLM)의 추론 연산을 효율적으로 가속화할 수 있는 인공지능(AI) 반도체 LPU(Latency Processing Unit)’를 개발했다고 4일 밝혔다.

연구팀이 개발한 AI 반도체 LPU는 LLM 추론 연산을 효율적으로 가속화할 수 있다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행할 수 있는 연산 엔진을 갖췄다. 자체 네트워킹을 내장해 다수 개의 가속기로 확장하기에도 용이하다.

LPU를 기반으로 하는 어플라이언스 서버는 GPU 서버 장비인 ‘엔비디아 A100’ 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높다.

이번 연구는 김주영 교수의 창업기업인 하이퍼엑셀에서 수행했다. 국제 반도체 설계 자동화 학회(DAC, Design Automation Conference)에서 공학 부문 최고 발표상(Engineering Best Presentation Award)을 수상하기도 했다.

카이스트 김주영 교수는 “미래 거대 AI 연산을 위한 새로운 프로세서 LPU로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”고 밝혔다.