"글로벌과 정면승부"…트릴리온랩스, 21B급 LLM 전면 공개

한국어와 같은 저자원 언어를 중심으로 고성능 언어 모델을 설계해온 트릴리온랩스가 거대언어모델(LLN) '트리-21B'를 오픈소스로 공개하며 글로벌 중형 LLM 시장을 정면으로 겨냥했다.

트릴리온랩스는 이번 모델을 기존 모델 대비 세 배 이상 확장된 21B 파라미터로 설계하고 1대의 그래픽처리장치(GPU)에서도 작동 가능한 경량 구조로 공개했다고 23일 밝혔다. 해당 모델은 깃허브를 통해 다운로드 가능하며 추후 70B급 상위 모델 공개도 예고한 상태다.

'트리-21B'는 트릴리온랩스가 직접 개발한 완전 사전학습 기반(From-Scratch)의 LLM이다. 대형 GPU팜 없이도 고차원적 추론이 가능하도록 설계된 것이 특징으로, 수학 벤치마크 '매스(MATH)', 코딩 벤치마크 '엠비피피 플러스(MBPP Plus)', 종합지식 벤치마크 '엠엠엘유(MMLU)'에서 각각 77.89점, 75.4점, 77.93점을 기록했다.

'트리-21B' (사진=트릴리온랩스)

이번 모델은 특히 한국어 특화 성능에 방점을 찍었다. 한국문화 이해도 벤치마크인 '해례(Hae-Rae)'에서 86.62점, 한국어 지식·추론능력 벤치마크인 '케이엠엠엘유(KMMLU)'에서는 CoT 적용 기준 70점을 기록하며 영어 기반 글로벌 중형 모델 대비 독보적 성능을 확보했다. 한국어 외에도 일본어 등 동북아 저자원 언어에 대한 자연스러운 문장 생성도 가능하다.

트릴리온랩스는 이 같은 성능을 '언어 간 상호학습 시스템(XLDA)' 구조를 통해 구현했다. XLDA는 영어 기반 지식을 한국어와 같은 저자원 언어로 전이하는 방식으로, 기존 대비 12분의 1 수준의 학습 비용 절감 효과를 기록했다. 비용이 민감한 산업군에서도 대형 LLM 도입이 가능해지는 구조다.

모델 구조도 실험적으로 최적화됐다. 플라이휠 구조를 적용해 70B급 모델에서 학습한 특성과 추론 전략을 21B 모델에 효과적으로 전이하는 방식으로, 모델 크기 대비 비약적인 성능 확보를 실현했다. 추론 체계는 '생각의 사슬(CoT)' 방식을 적극 활용해 단계적 사고와 구조적 응답을 가능케 했다.