캘리포니아, AI ‘셀프 감사’ 막는 두 법 서명…독립 감사가 실제로 바꾸는 것

미국 캘리포니아주가 인공지능(AI) 기업의 안전 주장을 외부 기관이 점검할 수 있도록 감사 체계를 만드는 두 법률을 확정했다. 개빈 뉴섬 주지사는 9월 9일(현지시간) 상원법안 813호(SB 813)와 하원법안 1405호(AB 1405)에 서명했다. 하나는 AI 위험을 평가할 독립 검증기관을 지정·감독하는 틀을 만들고, 다른 하나는 AI 감사인 등록부와 독립성 기준을 마련한다.

쉽게 말하면 AI 회사가 “우리가 시험해 보니 안전하다”고 스스로 평가하는 데서 한 걸음 더 나아가, 자격과 책임 기준을 갖춘 외부 감사자가 시험 과정과 결과를 들여다볼 길을 만드는 것이다. 회계 분야에서 회사의 재무제표를 외부 감사인이 확인하는 것과 비슷한 발상이다. 다만 이번 법이 캘리포니아에서 제공되는 모든 AI를 당장 의무적으로 검사하거나, 감사에 통과한 모델의 안전을 주정부가 보증한다는 뜻은 아니다.

이 구분이 중요하다. 캘리포니아 주지사실 발표는 미국 최초의 독립 검증·AI 감사 기준이라고 강조했다. 그러나 실제 법률은 감사 생태계의 자격과 절차를 먼저 만드는 성격이 강하고 시행 준비에도 시간이 필요하다. SB 813의 주요 체계는 2028년, AB 1405의 등록부는 2029년을 기준으로 준비된다.

왜 AI에는 외부 감사가 필요한가

오늘날 주요 AI 기업은 새 모델을 출시할 때 ‘시스템 카드’나 안전 보고서를 낸다. 모델이 위험한 생물학 정보를 제공하는지, 사이버 공격을 돕는지, 차별적 결과를 내는지, 사람의 통제를 벗어나 행동하는지 등을 시험했다고 설명한다. 문제는 시험 항목, 데이터, 평가 기준, 공개 범위를 대부분 개발사가 정한다는 데 있다.

회사가 고의로 사실을 숨기지 않더라도 이해관계 충돌은 생긴다. 출시가 늦어지면 경쟁사에 이용자를 빼앗길 수 있고 막대한 개발비 회수가 미뤄진다. 어떤 실패를 ‘중대한 위험’으로 볼지, 평균 성능과 최악의 상황 가운데 무엇을 공개할지에 따라 같은 모델도 다르게 보일 수 있다. 외부 연구자가 확인하려 해도 모델 내부 정보와 비공개 시험 자료에 접근하기 어렵다.

최근 AI는 질문에 답하는 챗봇을 넘어 이메일을 보내고 웹사이트를 조작하며 구매나 데이터 분석을 수행하는 에이전트로 발전하고 있다. 이런 시스템은 답변 하나가 틀리는 것보다 권한을 잘못 사용하거나 여러 단계의 행동을 이어 가는 위험이 크다. 기업이 내부적으로 “문제가 없었다”고 말하는 것만으로 은행, 병원, 공공기관, 소비자가 안심하기 어려워졌다.

독립 감사는 이 간격을 줄이려는 장치다. 감사자는 회사가 정한 설명을 받아 적는 것이 아니라 시험 범위와 근거, 내부 통제, 위험 관리 절차가 법과 정해진 기준에 맞는지 확인해야 한다. 잘 작동한다면 AI 구매자와 시민은 최소한 누가 무엇을 어떤 방법으로 점검했는지 비교할 수 있다.

SB 813이 만드는 ‘독립 검증기관’은 무엇인가

SB 813 공식 법률 본문은 캘리포니아 주정부 운영청이 ‘독립 검증기관(Independent Verification Organization·IVO)’을 지정하고 관리하는 체계를 만들도록 한다. 독립 검증기관은 AI 시스템이나 모델이 낳을 수 있는 위험을 평가하고, 그 평가에 필요한 지표와 방법론을 식별할 전문성을 갖춘 외부 조직을 뜻한다.

법안 요약에 따르면 운영청은 2028년 1월 1일까지 신청 요건, 자격 기준, 지정과 정지·취소 절차 등 기본 장치를 마련해야 한다. 다양한 이해관계자가 참여하는 작업반을 꾸려 기준을 논의하고, 지정된 조직이 수행한 업무와 시장 상황을 살펴볼 수 있는 보고 체계도 준비한다.

여기서 ‘독립’은 회사와 전혀 접촉하지 않는다는 뜻이 아니다. 감사를 하려면 개발사의 자료와 시스템에 접근해야 한다. 중요한 것은 평가 결과에 영향을 줄 경제적 관계나 이해충돌을 공개하고 통제하는 것이다. 같은 회사에서 막대한 컨설팅 수입을 받는 기관이 안전 감사까지 맡는다면 엄격한 판단을 내리기 어려울 수 있다.

SB 813은 외부 전문기관을 공적으로 인정하는 길을 만들지만, 그 기관의 평가가 곧 주정부의 모델 승인이나 완전한 면책이 되는 것은 아니라고 선을 긋는다. 감사 결과는 AI 관련 피해 소송에서 참고할 증거가 될 수 있지만 결정적인 결론은 아니다. 또한 이 법 자체가 모든 AI 사업자에게 반드시 독립 검증기관을 고용하라고 명령하는 것도 아니다.

AB 1405는 ‘감사하는 사람’을 어떻게 관리하나

AB 1405는 캘리포니아 주정부 웹사이트에 AI 감사인 등록부를 만들도록 한다. 캘리포니아 의회가 공개한 법안 본문에 따르면 등록하려는 감사자는 어떤 법과 규정에 따라 감사를 수행하는지, 어떤 자격과 인증을 갖췄는지, 어떤 서비스를 제공하는지 등 정해진 정보를 제출해야 한다.

감사 보고서에는 적어도 감사 범위와 목적, 결과, 그리고 그 결과의 근거를 보여 주는 문서가 포함돼야 한다. 감사 과정에서 이해관계가 충돌하지 않도록 독립성·투명성·성실성 기준도 적용된다. 등록 감사자의 부정행위를 신고할 수 있는 장치와 등록비, 감독 절차도 마련된다.

이 법의 시행 시점을 정확히 볼 필요가 있다. 최종 법률은 운영청이 2029년 1월 1일까지 등록부를 구축하도록 하는 내용이다. 서명 다음 날부터 모든 AI 감사인이 새 자격증을 받아야 하는 제도가 아니다. 앞으로 2년 이상 세부 기준과 행정 체계를 만드는 시간이 남아 있다.

또 ‘대상 감사’의 범위도 제한적이다. 법률상 등록 대상이 되는 감사는 AI 시스템이나 모델과 관련된 내부 통제, 과정 또는 체계가 캘리포니아 법 준수에 필요한지를 평가하는 일정한 감사다. 모든 성능 시험, 모든 편향 연구, 모든 일반 자문이 자동으로 이 범주에 들어가는 것은 아니다. “앞으로 캘리포니아에서 AI를 내놓으려면 무조건 주정부 등록 감사부터 받아야 한다”는 해석은 과장이다.

두 법이 함께 작동하는 방식

SB 813이 위험을 평가할 수 있는 독립 조직의 틀을 만든다면, AB 1405는 실제 감사를 수행하는 주체의 등록과 행동 기준을 구체화한다. 하나는 검증기관이라는 시장의 뼈대, 다른 하나는 감사인의 책임과 보고 방식에 더 가깝다.

이 체계가 자리 잡으면 다음과 같은 변화가 가능하다.

• AI 개발사는 안전 주장을 뒷받침하는 시험 기록과 내부 통제를 외부가 확인할 수 있는 형태로 남겨야 한다.
• 기업 구매자는 공급업체가 제시한 ‘안전함’이라는 표현 대신 감사 범위와 근거를 비교할 수 있다.
• 규제기관과 법원은 피해가 발생했을 때 회사가 어떤 기준으로 위험을 평가했는지 볼 자료를 얻는다.
• 감사기관은 서로 다른 모델을 일정한 방식으로 비교하는 전문성과 시장 신뢰를 쌓을 수 있다.
• 부실 감사나 이해충돌이 드러나면 등록 정지·취소와 신고 절차를 통해 책임을 물을 기반이 생긴다.

가장 큰 변화는 AI 안전이 회사의 자율적인 연구 보고서에서 법과 거래에 연결된 ‘검증 가능한 주장’으로 이동한다는 점이다. “우리 모델은 편향이 적다”, “위험한 요청을 잘 막는다”, “사람 승인 없이 중요한 행동을 하지 않는다” 같은 문장이 마케팅 문구에 그치지 않으려면 시험 조건과 실패 사례, 개선 조치가 남아 있어야 한다.

일반 이용자에게 당장 생기는 변화는 크지 않다

캘리포니아 법은 세계 AI 산업에 영향력이 크다. 주요 AI 기업 상당수가 캘리포니아에 있고, 한 주의 기준을 맞추기 위해 만든 절차를 다른 지역에도 적용하는 경우가 많기 때문이다. 그러나 일반 이용자의 챗GPT나 제미나이 화면에 즉시 새 인증 마크가 붙는 것은 아니다.

단기적으로는 기업 내부의 기록과 계약이 먼저 달라질 가능성이 크다. 어떤 버전의 모델을 어떤 데이터로 시험했는지, 위험 기준을 누가 승인했는지, 외부 감사자에게 어떤 자료를 제공했는지 남기는 일이 중요해진다. 병원이나 금융회사, 공공기관처럼 위험이 큰 곳에서 AI를 사는 조직은 공급 계약에 독립 평가와 사고 보고 조건을 더 구체적으로 넣을 수 있다.

장기적으로는 소비자가 AI 서비스의 안전 주장을 읽는 방식이 달라질 수 있다. ‘감사를 받았다’는 한 줄보다 감사 범위, 날짜, 사용한 모델 버전, 발견된 문제와 개선 여부가 더 중요해진다. 자동차 충돌 시험처럼 서로 비교할 수 있는 결과가 쌓인다면 이용자는 모델 선택 때 안전 정보를 활용할 수 있다. 반대로 결과가 비공개이거나 지나치게 기술적인 보고서에 머물면 체감 효과는 작을 수 있다.

독립 감사도 만능은 아니다

AI는 출시 뒤에도 수시로 업데이트된다. 지난달 감사한 모델과 오늘 이용자가 쓰는 모델이 다를 수 있고, 같은 기반 모델도 이메일 접근 권한을 준 에이전트와 단순 요약 기능의 위험이 다르다. 한 번의 감사로 계속 안전하다고 보증하기 어려운 이유다.

시험에서 발견되지 않은 위험도 남는다. 정해진 질문 목록에서 좋은 점수를 얻도록 모델을 조정하면 실제 사용 환경의 돌발 상황을 놓칠 수 있다. 드물지만 큰 피해를 내는 행동은 수천 번의 시험에서도 나타나지 않을 수 있다. 감사자가 개발사의 비공개 정보에 너무 의존하거나 충분한 계산 자원과 전문인력을 갖추지 못하면 형식적인 문서 검토에 그칠 가능성도 있다.

감사 시장의 이해충돌은 특히 주의해야 한다. 평가받는 회사가 감사 비용을 지불하는 구조는 회계 감사에서도 오랫동안 논쟁거리였다. AI 감사회사가 같은 고객에게 안전 자문, 제품 설계, 인증 업무를 함께 팔면 독립성이 약해질 수 있다. AB 1405가 독립성과 투명성을 강조하는 이유도 여기에 있다. 실제 효과는 세부 규정이 수익 관계와 겸업, 인력 이동, 결과 공개를 얼마나 엄격하게 다루는지에 달렸다.

기술 표준이 아직 빠르게 변한다는 점도 문제다. 편향, 개인정보 보호, 사이버 능력, 생물학적 위험, 허위정보, 사람 통제 등은 하나의 점수로 합치기 어렵다. 모델의 위험뿐 아니라 모델이 연결된 데이터와 권한, 사용하는 조직의 절차도 함께 봐야 한다. 좋은 모델이라도 과도한 접근권한을 주면 위험하고, 결함이 있는 모델도 사람이 중요한 결정을 확인하면 피해를 줄일 수 있다.

기업은 무엇을 준비하게 될까

이 법이 직접 적용되는 범위와 시행 규칙은 앞으로 더 구체화되겠지만, 캘리포니아에서 사업하는 AI 개발사와 도입 기업은 외부 검증을 전제로 기록 방식을 바꿀 가능성이 크다. 나중에 감사 요청을 받은 뒤 자료를 모으려 하면 어떤 모델 버전에 어떤 통제가 적용됐는지 복원하기 어렵기 때문이다.

실무에서 중요한 것은 거창한 ‘AI 윤리 선언’보다 구체적인 증거다. AI가 채용, 대출, 의료, 공공서비스처럼 사람에게 큰 영향을 주는 데 쓰였다면 누가 도입을 승인했고 어떤 실패 가능성을 시험했는지, 사람이 언제 결정을 뒤집을 수 있는지, 사고가 나면 어떤 기록을 확인할 수 있는지가 남아야 한다.

AI 서비스를 구매하는 기업도 감사 보고서의 존재만 확인해서는 부족하다. 보고서가 실제 사용 사례를 포함하는지, 최신 버전을 대상으로 하는지, 하청 모델과 외부 데이터까지 범위에 넣었는지, 발견한 문제를 해결했는지를 물어야 한다. 감사 결과가 좋더라도 자사 직원이 과도한 권한을 부여하면 별도의 위험이 생긴다.

미국과 다른 나라에도 영향을 줄 수 있다

미국에는 AI 전반을 하나로 다루는 연방 법률이 아직 완성되지 않았고, 주별 규제가 빠르게 늘고 있다. 캘리포니아는 거대한 소비시장과 기술기업 집적지라는 특성 때문에 다른 주와 연방 정부가 참고하는 기준을 자주 만든다. 뉴섬 주지사도 이번 서명과 함께 주정부만으로는 충분하지 않다며 연방 차원의 강한 규제를 요구했다.

유럽연합은 고위험 AI의 적합성 평가와 기록 의무를 중심으로 더 포괄적인 규제 체계를 추진해 왔다. 한국도 고영향 AI의 안전과 투명성 의무를 법제화하고 있다. 세부 방식은 다르지만 공통된 방향은 개발사의 자체 설명만으로는 부족하고, 위험을 누가 어떤 기준으로 확인했는지 보여 줘야 한다는 것이다.

캘리포니아의 제도가 성공하면 AI 감사라는 새로운 전문 시장의 표준이 만들어질 수 있다. 실패하면 등록부에 이름만 올리고 중요한 자료는 비공개인 형식적 제도가 될 수 있다. 감사자가 접근할 수 있는 정보, 평가 방법의 공개 수준, 부실 감사에 대한 책임이 성패를 가를 것이다.

핵심 정리

9월 9일 서명된 SB 813과 AB 1405는 모든 AI 모델에 즉시 의무 검사를 부과한 법이 아니다. 독립 검증기관을 지정하고 AI 감사인을 등록·감독하며, 감사 범위와 근거를 남길 제도적 기반을 만드는 법이다. SB 813의 핵심 준비 시한은 2028년 1월 1일, AB 1405 등록부의 핵심 시한은 2029년 1월 1일이다.

일반 독자가 기억할 사실은 간단하다. AI 기업이 스스로 발표한 안전 점수와 외부 독립기관이 확인한 결과는 다르며, 캘리포니아는 그 두 번째 검증을 제도화하기 시작했다. 다만 등록된 감사가 있다는 이유만으로 모델이 안전하다고 단정해서도 안 된다. 앞으로 확인할 것은 감사 대상이 실제로 얼마나 넓어지는지, 결과가 어느 수준까지 공개되는지, 개발사와 감사자의 이해충돌을 어떻게 막는지다. 법의 제목보다 2028~2029년에 만들어질 세부 기준과 첫 실제 감사 보고서가 더 중요한 이유다.