레드햇-구글클라우드, 엔터프라이즈 AI 추론 강화 협력

레드햇이 구글클라우드와 협력을 확대해 인공지능(AI) 추론 성능을 높이고 대규모 배포를 지원하는 환경을 구축한다.

레드햇과 구글클라우드는 레드햇의 오픈소스 기술과 구글클라우드의 맞춤형 인프라 ·구글의 개방형 모델 제품군 '젬마'를 결합해 엔터프라이즈 애플리케이션용 AI를 향상하기 위한 협력을 확대한다고 29일 밝혔다.

레드햇은 구글의 젬마 모델과 가상거대언어모델(vLLM)을 결합해 AI 추론 효율을 높일 방침이다. 대규모언어모델분산(llm-d) 프로젝트 론칭·에이전트투에이전트(A2A) 프로토콜 참여로 에이전틱 AI 확장을 도모할 계획이다.

레드햇이 구글클라우드와 협력을 확대해 인공지능(AI) 추론 성능을 높이고 대규모 배포를 지원하는 환경을 구축한다. (사진=레드햇)

레드햇은 젬마3 배포판에서 vLLM의 0일차 지원을 제공해 생성형 AI 애플리케이션의 출력 속도를 높인다. vLLM은 오픈소스 추론 서버로 빠르고 비용 효율적인 AI 플랫폼을 제공해 엔터프라이즈 고객의 반응성을 강화한다.

구글클라우드 텐서처리장치(TPU) 및 그래픽처리장치(GPU) 기반 가상머신에서 vLLM 사용이 가능해지면서 개발자는 성능과 효율성을 극대화할 수 있다. 또 레드햇은 llm-d 오픈소스 프로젝트를 통해 이기종 리소스 전반에서 AI 추론의 확장성·비용 최적화·워크로드 효율성을 개선한다.

레드햇 AI 인퍼런스 서버는 구글 클라우드 상에서 최신 커뮤니티 개선 사항을 반영해 기업용 모델 추론 최적화를 지원한다. 이를 통해 기업은 신뢰할 수 있는 인프라에서 대규모 AI 모델을 빠르고 안정적으로 배포할 수 있게 된다.