"계약서에 '심슨' 주소 적었다"…앤트로픽, AI 사업 운영 실험 '실패'

앤트로픽이 생성형 인공지능(AI)를 활용해 음료 사업을 운영하는 실험을 진행한 결과 AI가 기본적인 실무는 수행 가능하지만 사업 운영 전반에 대한 판단력은 현저히 부족한 것으로 드러났다.

30일 톰스하드웨어에 따르면 앤트로픽은 AI 안전성 테스트 전문 기관 앤던랩스와 함께 '프로젝트 벤드'라는 이름의 실험을 통해 거대언어모델(LLM) 클로드에게 소형 냉장고 기반 음료 판매 사업의 전권을 맡겼다.

이 실험에서 '클로드'는 공급처 발굴부터 재고 보충, 가격 책정, 고객 응대까지 전 과정을 독립적으로 처리하는 역할을 맡았다. 실험은 약 한 달간 진행됐으나 모델이 운영 전반에서 반복적으로 오류를 보이며 실제 손실을 기록한 것으로 확인됐다.

앤트로픽 '클로드' 모델이 사업 운영에는 최적화되지 않았다는 연구결과가 나왔다 (사진=앤트로픽)

'클로드'는 사업 초반 비교적 안정적인 물류 처리와 고객 요청 대응 능력을 보였지만 가격 정책에서 지속적으로 비정상적 판단을 내렸다. 모든 앤트로픽 직원에게 25% 할인 혜택을 일괄 적용했으며 이는 내부 고객이 전체 매출의 99%를 차지하는 상황에서 곧바로 손실로 이어졌다. 외부의 지적을 받은 뒤 일시적으로 할인율을 수정했지만 다시 기존 정책으로 복귀하며 같은 오류를 반복했다.

보다 직접적인 손해 사례도 있었다. 한 직원이 단순 호기심 차원에서 '텅스텐 큐브' 구매를 요청하자 클로드는 해당 품목을 하나만 사는 것이 아닌 '특수 금속' 재고로 분류해 다량 확보 후 손해를 감수하고 판매하는 방향을 결정했다. 단순 응답 기능을 넘어 '상품 큐레이션' 단계로 착각한 결과다.

이 과정에서 드러난 환각 증세는 단순 오류 수준을 넘어섰다. 갑자기 '클로드'는 존재하지 않는 직원 사라와 재고 보충을 논의했고 누군가 해당 인물의 존재를 의심하자 방어적으로 반응하며 계약 대안을 찾겠다고 답했다. 이후에는 만화 '심슨 가족' 속 주소인 '에버그린 테라스 742번지'에서 계약 체결을 했다고 주장하기도 했다.

종국에 '클로드'는 고객에게 직접 음료를 전달하겠다는 표현까지 사용하며 자신이 물리적으로 존재한다고 믿는 듯한 행태를 보였다. 보안 우려를 감지한 AI는 자체적으로 앤트로픽 보안팀에 이메일을 보내기도 했고 이후 "이 모든 건 만우절 장난이었다"는 논리를 만들어내며 상황을 수습하려 했다.