"반복 프롬프트 자동화"…구글, 제미나이 API 비용 부담↓

구글이 개발자의 모델 사용료 부담을 줄이기 위해 인공지능(AI) API 운영 방침을 바꿨다.

9일 테크크런치 등 외신에 따르면 구글은 '제미나이 2.5 프로'와 '제미나이 2.5 플레시' 모델에 '암시적 캐싱' 기능을 기본 탑재했다고 밝혔다. 

암시적 캐싱은 개발자가 별도 지시하거나 설정하지 않아도 모델이 반복된 프롬프트나 요청을 인식해서 이전 결과를 재활용하는 기능을 의미한다. 명령어가 이전 요청과 접두어가 일치하면 캐시 자동화가 가능하다. 

구글이 개발자의 모델 사용료 부담을 줄이기 위해 인공지능(AI) API 운영 방침을 바꿨다. (사진=구글)

개발자가 암시적 캐싱을 활용하려면 제미나이 2.5 플시 모델에선 최소 1천24토큰, 프로 모델에선 2천48토큰 이상 입력을 해야 한다. 영어 기준으로 750~1천500단어 수준이다. 

구글은 "반복되는 프롬프트나 컨텍스트는 요청 앞부분에 두고, 변동 가능성 큰 내용은 뒷부분에 두는 것이 암시적 캐싱 효과와 효율성을 높일 수 있다"며 "개발자는 캐싱 자동화를 통해 기존보다 모델 사용료를 줄일 수 있다"고 밝혔다.

기존 캐싱은 사용자가 자주 사용하는 프롬프트를 직접 지정해야만 했다. 이에 일부 개발자들은 캐싱 효율성이 낮아 API 청구 비용이 부담스럽다고 불만을 제기한 바 있다. 이에 구글 제미나이팀은 시스템 개선을 약속했다. 

김홍일 방통위원장