오라클·AMD, AI·에이전틱 워크로드 지원 협력

오라클이 AMD 손잡고 대규모 인공지능(AI) 훈련·추론을 위한 고성능 클러스터를 구축한다.

오라클은 최대 13만1천73개 MI355X 그래픽처리장치(GPU)를 탑재한 제타스케일 AI 클러스터로 최신 생성형 AI·거대언어모델(LLM) 추론을 지원하기 위해 AMD와 협력한다고 23일 밝혔다.

이번 협력으로 AMD는 '오라클 클라우드 인프라스트럭처(OCI)'에 AMD 인스팅트 MI355X GPU를 공급한다. OCI는 고처리량과 초저지연 원격 직접 메모리 액세스(RDMA) 기반 클러스터 네트워크 아키텍처 바탕으로 높은 성능과 확장성을 제공한다는 평가를 받고 있다.

오라클이 AM와 대규모 AI 및 에이전틱 워크로드를 지원한다. (사진=오라클)

MI355X는 이전 세대 대비 최대 2.8배 향상된 처리량을 제공하며, 288기가바이트(GB)의 고대역폭 메모리 3(HBM3)와 최대 8테라바이트(TB)의 메모리 대역폭으로 복잡한 모델의 훈련과 추론을 가속화한다. 새로운 4비트 부동 소수점 연산(FP4)도 지원해 비용 효율적인 고속 추론을 지원한다.

해당 GPU는 고밀도 수냉식 설계를 적용해 랙당 64개의 GPU, 125킬로와트(KW) 전력 소비로 AI 워크로드 처리 성능도 높였다. 더 빠른 첫 토큰 생성 시간과 높은 초당 토큰 처리량을 지원하며, 운영 환경 수준의 안정적인 AI 훈련·추론 인프라를 제공한다.

고객은 최대 3TB의 메모리를 탑재할 수 있는 AMD 튜린 고주파 중앙처리장치(CPU) 기반의 강력한 헤드 노드를 활용해 GPU 성능을 극대화할 수 있다. 오픈소스 소프트웨어 스택인 'ROCm'은 코드 마이그레이션 유연성을 높이고 공급업체 종속성을 줄인다.

네트워크 측면에서는 AMD 폴라라 NIC를 통한 고급 RoCE 기능과 울트라 이더넷 컨소시엄(UEC) 기반 개방형 산업 표준 지원으로 프로그래밍 가능한 혼잡 제어와 고성능 저지연 통신을 구현한다.