"운영 비용 8분의 1"...메타, 신형 AI '라마 3.3 70B' 출시

메타가 신형 대규모언어모델(LLM) '라마 3.3 70B'를 출시했다. 기존 언어모델 수준의 성능에 운영비용을 8분의 1 수준으로 사용할 수 있는 것이 특징이다.

8일 메타는 인공지능(AI) 개발 플랫폼 허깅페이스를 통해 라마 3.3 70B를 공개했다.

라마 3.3 70B는 지난 4월 출시한 라마 3의 신규 버전이다. 4천50억개의 매개변수를 활용한 라마 3.1 대비 6분의 1 수준인 매개변수를 700억개로 줄였음에도 유사하거나 일부 더 뛰어난 성능을 갖췄다.

라마 3.3 70B 벤치마크 결과 (이미지=메타)

메타에서 공개한 벤치마크 결과에 따르면 라마 3.3 70B는 라마 시리즈 중 가장 많은 매개변수를 활용한 라마 3.1 405B를 비롯해 오픈AI의 GPT-4o, 구글의 제미나이 1.5, 아마존의 노바 프로와 유사한 성능을 기록했다.

언어 모델의 다방면적인 지식 수준을 측정하는 MMLU는 소폭 낮은 기록을 보였지만 대화 내용을 이해하고 지침을 따르는 능력을 평가하는 IFeval은 노바 프로와 함께 가장 높은 점수를 달성했다.

더불어 라마 3.3 70B는 모델 크기, 추론 알고리즘, 데이터 효율성, 컴퓨팅 자원 활용에서 비용 절감 요인을 극대화하는 설계와 최적화로 타 AI대비 8분의 1 이하의 운영비용을 요구한다. 메타 측에 따르면 운영 비용은 토큰 100만개당 입력 0.1달러, 출력 0.4달러 수준이다.