[기고] 지속 가능한 AI 운영 전략, RAG옵스

인젠트 박정권 전무

"생성형 인공지능(AI)을 놓치면 뒤처진다."

지난 2년간 수많은 기업이 내세운 슬로건이다. 실제로 글로벌 컨설팅사들은 2024년 한 해에만 기업 10곳 중 9곳이 생성형 AI 도입을 검토하거나 초기 도입을 시도했다고 집계했다.

하지만 가트너는 2025년까지 생성형 AI 프로젝트의 30%가 개념 검증(PoC) 단계에서 멈출 것이라 전망한다. 쉽지 않은 현실이다.

그 이유로 우선 데이터 품질 문제가 있다. 기업 데이터의 80% 이상을 차지하는 비정형 문서나 이미지가 제대로 정제되지 않은 상태로 방치되어 모델 학습 효과가 떨어진다. 또한 강력한 새로운 AI 모델이 빠르게 등장하지만 기존 시스템의 경직된 구조로 인해 모델이나 도구의 빠른 교체 및 확장이 어려운 것도 현실이다.

마지막으로 AI 성능은 배포 이후에도 지속적으로 모니터링하고 품질을 보정해야 하는 운영 부담이 존재한다.

생성형 AI의 품질을 높이는 방법중의 하나인 검색증강생성(RAG) 기술이 더욱 발전하고 있다.

RAG는 대규모 언어모델(LLM)을 검색과 결합해 추가 학습 없이 정확성을 높이는 방식이다. RAG 기술은 최근 모듈화(Modular RAG) 형태로 진화하며 임베딩, 검색, 생성, 평가, 피드백 등의 주요 기능을 독립 모듈로 분리해 사용 환경에 따라 유연하게 조립하거나 교체할 수 있는 구조로 발전하고 있다.

앞으로의 과제는 이러한 모듈들을 얼마나 쉽게 조립하고 자동화할 수 있는가에 집중되고 있다.

하지만 기술의 발전 속도에 비해 이를 조직이 학습하고 시스템에 반영하는 데 필요한 시간은 턱없이 부족하다. 새로운 기술이나 모델을 도입하려면 사실상 기존 시스템의 재구축에 가까운 노력이 요구되며 이로 인해 시스템은 빠르게 노후화되고 유지보수 또한 한계에 봉착하게 된다.

AI를 활용한 문제 해결 방식은 전통적인 '정확성 중심'의 시각이 아니라, ‘확률 중심’의 시각에서 접근해야 한다. 즉, 단일 정답을 찾기보다는 반복 가능한 개선 프로세스를 내재화하고, 실시간 피드백과 품질 보정을 통해 성능을 지속적으로 향상시킬 수 있는 구조가 필요하다.

따라서 지속 가능한 AI 서비스를 실현하기 위해서는, 기술 변화에 유연하게 대응할 수 있고, 품질을 지속적으로 개선할 수 있으며, 안정적인 운영이 가능한 플랫폼 구조가 필수적이다.

이를 위해 RAG옵스(RAGOps) 플랫폼이 필요하다. 이 플랫폼은 AI 시스템의 지속적인 개선, 품질 유지, 안정적인 운영을 실현하기 위한 핵심 플랫폼 역할을 수행해야 한다.

비정형 데이터를 수집하고 구조화하여 AI가 이해할 수 있는 형태로 가공하고, 벡터라이제이션을 통해 검색 및 생성 성능을 극대화해야 한다. 응답 품질에 대한 평가 시스템을 통해 다양한 지표를 측정하고, 이를 기반으로 반복적 개선과 최적화를 수행할 수 있어야 한다.

좀 더 구체적으로 필요로 하는 구성요소를 정리하면 다음과 같다.

RAG옵스 플랫폼의 아키텍처는 오픈 구조(Open Architecture)를 채택해 기술 종속성을 최소화해야 한다. 또한 모듈 단위로 유연하게 교체 및 확장할 수 있는 구조가 중요하다.

데이터 수집 레이어에서는 데이터 수집, 임베딩, 모델 평가, 운영, 피드백까지 모든 과정을 모듈형 파이프라인으로 구성하고 자동화를 제공하는 것이 중요하다. 또한 벡터 데이터와 정형 데이터를 통합 관리할 수 있는 하이브리드 저장소가 필수적이다. SQL 필터링과 벡터 유사도 검색을 동시에 실행해 성능과 정확성을 확보해야 한다.

LLM과 키워드 검색을 조합하여 도메인 요구에 맞는 최적의 검색과 생성 파이프라인을 구성할 수 있어야 한다. 데이터레이어는 포스트그레SQL 기반의 데이터 아키텍처가 좋은 모델이 된다.

포스트그레SQL은 RDBMS뿐만 아니라 벡터DB의 저장소로도 확장할 수 있다. RAG에서 필요로 하는 비정형데이터와 정형데이터를 아우르는 데이터처리를 통해 효율성을 높일 수 있다.

자동화된 평가와 피드백 시스템도 중요한 요소다. 정확도, 신뢰도, 컨텍스트 적합성 같은 다양한 품질 지표를 실시간으로 모니터링하고, 비교 테스트를 통해 자동으로 개선 방안을 제시할 수 있어야 한다.

RAG옵스 플랫폼을 구성하면서 데이터 품질의 문제를 해결하기 위해서는 문서중앙화 플랫폼과 만났을 때 큰 시너지가 난다고 생각한다. 실제 구축을 해보면서 문서중앙화가 비정형 데이터의 허브 역할을 하며 RAG옵스와 결합해서 쉽게 AI 서비스를 만들 수 있는 환경을 제공할 수 있음을 확인했다.