"성능보다 신뢰"…AI 안전성 평가 기준, 민간서 시작

인공지능(AI) 신뢰성 검증의 필요성이 커지자 민간이 먼저 실증 기반 인증 체계를 구축하고 나섰다. 산업계가 주도해 기술의 책임성과 안정성을 정량 평가하려는 시도다.

한국인공지능산업협회(AIIA)는 최근 AI 신뢰성 민간 인증 체계인 '에이아이-마스터(AI-MASTER)'를 론칭했다고 2일 밝혔다. 첫 인증 대상으로는 생성형 AI 스타트업 포티투마루의 '거대언어모델42(LLM42)'가 선정됐다. 인증은 협회가 총괄하고 셀렉트스타와 슈어소프트테크가 시험기관으로 참여했다.

'에이아이-마스터'는 유럽연합의 ‘신뢰할 수 있는 AI(Trustworthy AI)’ 7대 요구사항을 바탕으로 국제표준 9종을 적용해 총 63개 항목을 평가한다. 항목의 60% 이상은 자동화 평가 도구로 검증돼 평가 결과의 일관성과 신뢰성이 높다는 점이 특징이다.

인공지능(AI) 신뢰성 검증의 필요성이 커지자 민간이 먼저 실증 기반 인증 체계를 구축하고 나섰다. (사진=셀렉트스타)

포티투마루의 '거대언어모델42(LLM42)'는 독자 개발한 검색증강생성(RAG42) 기술과 기계독해(MRC42) 엔진을 통해 초거대언어모델의 환각 문제를 줄이고 산업별 특화된 경량화 구조와 프라이빗 모드를 갖춘 기업형 모델이다. 모델 학습부터 서빙까지의 전 과정에서 비용 효율성을 강화한 점이 주요 평가 요소로 작용했다.

셀렉트스타는 이번 인증 사업에서 초거대 언어모델 영역 시험기관으로 참여해 평가 항목 정의, 자동화 평가 도구 개발, 전체 프레임 설계를 공동 수행했다. 특히 '다투모 이밸(Datumo eval)'이라는 자체 신뢰성 검증 솔루션을 도입해 인간 감독, 기술 안정성, 투명성, 사회적 책임 등 4대 항목의 점수를 정량화했다.

셀렉트스타의 '다투모 이밸'은 실제 업무환경에서 AI 모델의 응답 품질을 정량 분석하는 자동화 평가 솔루션으로, 금융권 등 고신뢰 산업에서 활용도가 높다. 현재는 삼성생명과 금융 특화 AI 데이터 검증 프로젝트도 진행 중이다.

업계에서는 '에이아이-마스터' 인증이 민간 주도의 정량 검증을 최초로 공식화했다는 점에서 의미가 있다고 평가한다. 향후 정부 연구개발(R&D), 공공조달, 고영향 AI 지정 등 정책 연계와 글로벌 상호인정 확장을 목표로 한다.