"무산된 SB 1047, 부활하나"…캘리포니아, AI 외부 규제안 다시 꺼냈다

캘리포니아가 인공지능(AI) 기술에 대한 새로운 규제 정책 구상을 내놨다. 지난해 포괄적 규제 법안이 주지사 거부권으로 무산된 뒤 다시 시도되는 조치로, 규제 대상에 대한 기준은 완화됐지만 외부 감시와 고위험 통제를 강하게 요구하는 방향이다.

18일 더버지에 따르면 미국 캘리포니아 주정부는 최근 AI 거버넌스 로드맵인 '캘리포니아 최첨단 정책 보고서'를 공개했다. 보고서는 페이페이 리 스탠퍼드 대학교 교수, 제니퍼 차이스 UC버클리 교수 등 현지 AI·정책 전문가들이 공동 집필했으며 총 52쪽 분량으로 구성됐다.

이 보고서는 지난해 캘리포니아 의회를 통과한 AI 규제 법안 'SB 1047'이 주지사 거부권에 의해 무산된 이후 마련됐다. 당시 법안은 고비용 대형 모델에 대한 위험성 사전 테스트를 의무화하려 했지만 일률적이고 과도하다는 이유로 폐기됐다. 이에 개빈 뉴섬 주지사는 규제와 혁신을 함께 고려할 수 있는 새로운 정책 대안을 주문했고 이번 보고서가 그 결과물이다.

지난 2023년 취임식 선서를 하는 개빈 뉴섬 캘리포니아 주지사 (사진=위키 커먼스)

보고서는 AI 모델의 추론 능력과 사고의 연쇄(CoT) 방식 등 핵심 기술이 신속히 진화하고 있다고 지적했다. 특히 화학·생물·방사능·핵(CBRN) 무기와 관련한 위험성이 커지고 있으며 실제로 일부 기업이 해당 기능의 급속한 향상을 자발적으로 보고한 사례도 언급됐다.

더불어 AI 기술의 파급력이 농업, 생명공학, 청정 기술, 교육, 금융, 의료, 교통 등 산업 전반에 미칠 수 있다고 분석했다. 특히 기술 활용을 촉진하는 동시에 위험성 관리가 병행되지 않으면 '돌이킬 수 없는 피해'가 발생할 수 있다고 경고했다.

다만 기존 AI 규제 논의에서 활용돼 온 '훈련에 투입된 연산량(컴퓨트) 기준'은 한계가 있다는 것이 보고서의 주장이다. 이 같은 지표는 초기 필터로는 활용할 수 있지만 실제 위험도나 사회적 파급력은 고려하지 못한다는 지적으로, AI 모델 도입 전 단계의 위험 평가와 실사용 단계에서의 영향 분석이 병행돼야 한다고 제안했다.

현행 AI 산업 전반의 문제로는 데이터 확보 방식, 보안 절차, 사전 테스트, 사회적 영향 분석 등 주요 과정에서의 구조적 불투명성이 지목됐다. 또 기업 스스로가 모델의 위험성을 충분히 이해하고 대응할 수 있다는 전제가 현실과 맞지 않는다고 판단했다.

이에 보고서는 제3자 평가 체계 도입을 핵심 방안으로 제시했다. 현재는 기업 자체 검증이나 계약된 외부 업체 중심으로 모델 안정성 평가가 이뤄지고 있지만 이는 검증 범위와 신뢰도 면에서 한계가 있다는 것이다. 제3자 평가는 다양한 배경의 전문가 수천 명이 참여할 수 있어 기업 내부 인력보다 범위와 시각 모두에서 우위에 있다는 주장이다.

동시에 제3자 평가자에 대한 법적·기술적 보호장치인 '세이프 하버(Safe Harbor)' 조항 신설과, AI 피해를 입은 이용자들이 신고할 수 있는 체계 마련도 제안했다. 이 같은 보호 조치는 사이버 보안 분야에서 제3자 침투 테스트를 보호하는 법제도와 유사한 방식이다.