레드햇 "높은 AI 비용 장벽, 오픈 플랫폼으로 해결"

"기업의 생성형 인공지능(AI) 도입을 여전히 가로막는 장애물은 고비용과 복잡성, 유연성 부족입니다. 이를 해결하려면 누구나 쉽게 모델을 최적화할 수 있는 오픈 플랫폼이 필요합니다. 비용 절감을 위한 경량화 기술, 멀티 클라우드 환경을 아우르는 유연한 배포 체계도 필수입니다."

한국레드햇 유혁 테크세일즈팀 상무는 5일 지디넷코리아가 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 '컨버전스 인사이트 서밋(CIS) 2025'에서 'AI의 대중화를 넘어, 비용효율적 AI로'를 주제로 이같이 밝혔다.

유 상무는 "복잡한 튜닝 프로세스와 높은 추론 비용, 인프라 유연성 부족이 기업의 AI 확산을 가로막고 있다"며 "특히 비전문가가 기업 데이터로 AI 모델을 맞춤화하는 데 겪는 어려움이 크다"고 진단했다.

레드햇 유혁 테크세일즈 상무.

유 상무는 AI 도입 비용 절감 전략으로 뉴럴매직을 통한 가상거대언어모델(vLLM) 기반 추론 최적화를 제시했다.

그는 "메타의 라마 같은 모델을 FP16이나 FP8 같은 간소한 형식으로 압축하면, 메모리 사용량과 응답 시간을 줄이면서도 정확도를 유지할 수 있다"고 설명했다. 그러면서 "실제 AI 챗봇·상품 리뷰 요약 서비스 사례에서 vLLM을 통해 약 40%의 비용 절감 효과를 거뒀다"고 덧붙였다.

레드햇은 이에 대한 해법으로 복잡성 대응 전략을 내세웠다. 핵심은 '그래닛(Granite)' 모델과 '인스트럭트랩(InstructLab)' 툴이다. 그래닛은 특정 도메인에 최적화된 오픈소스 고성능 모델이다. 기업이 프라이빗 데이터를 기반으로 신뢰성 있게 활용할 수 있도록 설계됐다.

인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다.

인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. 챗봇 성능 향상을 위한 대규모 정렬(LAB) 방식인 '교사–비평자–학생' 구조로 이뤄진 자동 튜닝의 데이터 생성과 자동 튜닝으로 모델을 훈련한다.

이는 '오픈시프트 AI'와 '레드햇 엔터프라이즈 리눅스(RHEL) AI'와 연계돼 단일 서버부터 클러스터 환경까지 이용 가능하다.