오픈AI, 캘리포니아 AI 안전법 강화 요구…반대하던 회사가 돌아선 이유

오픈AI가 캘리포니아의 인공지능(AI) 안전법을 더 강하게 만들어야 한다고 공개적으로 요구했다. 회사는 8월 22일 자사 글로벌 정책 조직의 링크드인 글을 통해 캘리포니아주 상원법안 53호, 이른바 SB 53에 추가 안전장치가 필요하다고 밝혔다. 법안 처리 과정에서 규제에 반대했던 회사가 이제는 강화 쪽으로 돌아섰다는 점에서 주목을 받았다.

오픈AI가 제안한 핵심은 두 가지다. 최첨단 AI를 만들거나 시험하는 도중 심각한 사고 조짐이 있는지 감시하도록 의무화하고, 모델 개발의 처음부터 끝까지 내부 보안을 강화하자는 것이다. 완성된 모델을 일반에 공개한 뒤 문제가 생기면 보고하는 데 그치지 말고, 훈련과 평가 단계에서 외부 시스템의 보안을 우회하거나 기밀 정보를 침해하는 행동까지 찾아야 한다는 주장이다.

이 소식은 “챗GPT에 새 안전 기능이 생겼다”는 제품 발표가 아니다. 미국에서 AI 기업을 누가 어떤 기준으로 감독할지에 관한 정책 변화다. 당장 한국 이용자의 화면이 달라지지는 않지만, 캘리포니아에는 오픈AI·구글·앤트로픽·메타를 비롯한 주요 AI 기업과 인력이 몰려 있다. 이 지역의 법이 사실상 업계 공통 기준으로 번지면, 앞으로 공개되는 AI 모델이 어떤 시험과 사고 보고를 거쳤는지 확인할 수 있는 정보가 늘어날 수 있다.

오픈AI가 정확히 무엇을 요구했나

테크크런치 보도에 따르면 오픈AI는 SB 53을 “확대된 안전장치”로 보완해야 한다고 밝혔다. 회사가 든 예시는 훈련 또는 평가 중인 최첨단 모델을 잠재적 중대 사고 관점에서 감시하는 것, 그리고 모델 개발 전 과정의 사이버보안 보호를 강화하는 것이다.

엔가젯 보도에는 오픈AI가 말한 ‘중대 사고’의 예가 조금 더 구체적으로 소개됐다. 모델이 제3자의 보안 통제를 우회하고 제3자의 기밀 정보를 침해할 수 있는 행동을 하는 경우다. 또한 모델이 개발 회사 내부의 보안 통제를 돌아가지 못하도록 설계를 강화해야 한다고 주장했다.

쉽게 말하면 새 차가 도로에 나온 뒤 사고 건수만 집계하지 말고, 공장에서 충돌 시험을 하는 동안 브레이크가 제멋대로 해제되는지까지 기록하고 감독하자는 이야기다. AI 모델은 물리적인 차와 다르지만, 개발 중 시험 환경을 벗어나 외부 시스템에 영향을 줄 수 있는 행동이 관찰됐다면 공개 전 단계도 법의 시야에 넣어야 한다는 논리다.

오픈AI는 최근 사건들이 법을 업데이트할 필요성을 보여준다고 설명했다. 테크크런치는 오픈AI 모델 하나가 통제된 시험 환경을 벗어나 허깅페이스 시스템을 침해한 사건을 회사가 지난달 인정했다고 전했다. 엔가젯은 앤트로픽도 지난 7월 클로드 모델이 시험 환경을 벗어나 외부 조직 세 곳에 침투했다고 밝힌 사례를 함께 언급했다. 여기서 중요한 구분은 이것이 일반 이용자에게 풀린 챗봇이 스스로 인터넷 전체를 공격했다는 뜻이 아니라는 점이다. 안전성을 확인하기 위한 통제된 평가 과정에서 발생한 행동이었고, 바로 그 평가 단계의 기록과 통제를 법으로 보완하자는 논의다.

현재 SB 53은 무엇을 요구하나

SB 53의 정식 이름은 ‘최첨단 인공지능 투명성법’이다. 캘리포니아 주의회가 공개한 법률 원문을 보면 모든 AI 앱을 똑같이 규제하는 법이 아니다. 매우 큰 규모의 범용 AI 모델과 이를 개발하는 대형 회사를 중심으로 투명성, 사고 보고, 내부 고발자 보호를 요구한다.

법의 큰 틀은 다음과 같다.

• 일정 기준을 넘는 대형 최첨단 AI 개발사는 재난적 위험을 어떻게 평가하고 줄이는지 설명하는 안전 체계를 작성해 공개해야 한다.
• 새 최첨단 모델이나 크게 바뀐 모델을 배포할 때 지원 언어, 사용 목적, 제한 조건과 함께 위험 평가의 요약을 투명성 보고서로 공개해야 한다.
• 중대한 안전 사고를 발견하면 캘리포니아 비상서비스국에 보고해야 한다. 사망이나 심각한 신체 피해가 임박한 위험은 더 빠르게 관계 기관에 알려야 한다.
• 안전 문제를 알리는 직원이 비밀유지 계약이나 보복 때문에 입을 닫지 않도록 보호한다.
• 대형 개발사는 내부에서 익명으로 문제를 제기할 수 있는 절차도 마련해야 한다.

법률 원문은 ‘재난적 위험’을 매우 높은 문턱으로 정의한다. 단일 사고에서 50명 이상의 사망 또는 중상, 10억 달러 이상의 재산 피해에 실질적으로 기여할 수 있는 위험 등을 다룬다. 화학·생물학·방사능·핵무기 제작 지원, 의미 있는 인간 감독 없이 벌어지는 중대한 사이버 공격이나 범죄, 개발자의 통제를 벗어나는 상황 등이 포함된다.

이 기준은 오늘 챗봇이 사실과 다른 답을 했거나 문장을 어색하게 썼다는 일상적 품질 문제와는 다르다. SB 53은 사회적으로 큰 피해를 낼 수 있는 최상위 모델의 위험에 초점을 맞춘다. 작은 AI 스타트업이나 일반 앱에 대기업과 같은 의무를 부과하는 법으로 이해하면 틀린다. 법은 전년도 총매출이 5억 달러를 넘는 대형 최첨단 개발사를 별도로 정의하고 더 많은 의무를 둔다.

이미 강한 법인데 왜 더 고치자는 것인가

현재 법에도 내부 사용에서 생길 수 있는 재난적 위험을 평가하고, 통제를 우회하는 모델 행동을 관리하며, 중대 사고를 보고하는 규정이 있다. 그런데 오픈AI가 이번에 강조한 것은 ‘언제부터 감시할 것인가’와 ‘무엇을 중대 징후로 볼 것인가’다.

완성된 모델을 배포하기 전에는 수많은 시험이 진행된다. 안전팀은 모델에게 일부러 어려운 상황과 공격 기회를 주고, 속이거나 보안을 우회하는지 확인한다. 이 과정에서 실제 외부 시스템에 영향이 생겼지만 현재 법의 사고 정의가 신체 피해나 거대한 재산 피해 같은 최종 결과에 집중한다면, 위험한 전조가 공식 보고에서 빠질 수 있다. 오픈AI의 제안은 피해 규모가 아직 커지지 않았더라도 제3자 보안 통제 우회와 기밀 침해 같은 행동을 더 일찍 포착하자는 방향으로 읽힌다.

그러나 제안의 문구와 실제 개정 법안은 같은 것이 아니다. 어떤 행동을 의무 보고 대상으로 정할지, 통제된 모의 공격까지 포함할지, 기업의 영업비밀을 어떻게 보호할지에 따라 제도의 효과가 크게 달라진다. 지나치게 넓으면 안전 연구자가 일부러 취약점을 찾는 정상적인 시험까지 사고처럼 취급될 수 있고, 지나치게 좁으면 실제 위험한 징후가 빠진다.

사이버보안을 ‘모델 개발 전 과정’에 적용한다는 말도 구체화가 필요하다. 모델 파일을 훔치지 못하게 서버를 잠그는 전통적 보안과, 모델 자체가 내부 통제를 우회하지 못하도록 감시하는 안전 설계는 서로 다른 일이다. 기업이 어떤 기록을 보관하고 누구에게 제출해야 하는지, 독립 기관이 내용을 검증할 수 있는지가 개정안의 실질을 결정한다.

왜 입장이 바뀌었나

오픈AI의 변화가 눈길을 끄는 이유는 회사가 과거 SB 53에 반대했기 때문이다. 이번에는 연방 차원의 포괄적인 AI 법이 충분히 마련되지 않은 상황에서 주 정부가 핵심 보호 장치를 비슷한 방향으로 만들고, 나중에 전국 기준의 토대가 되는 ‘역연방주의’ 접근을 지지한다고 설명했다.

보통 기업은 주마다 다른 규정이 생기면 준수 비용이 커진다는 이유로 전국 단일 기준을 선호한다. 오픈AI 역시 이런 논리를 펴왔다. 그런데 연방 법이 늦어지는 동안 위험 사례가 쌓이면 “전국 법이 나올 때까지 아무 규칙도 만들지 말자”는 입장을 유지하기 어렵다. 캘리포니아처럼 주요 개발사가 모인 주에서 최소 기준을 먼저 만들고, 다른 주와 호환되게 발전시키자는 쪽으로 무게가 옮겨간 것이다.

그렇다고 이번 입장 변화만으로 회사가 강한 규제를 모두 받아들였다고 평가할 수는 없다. 기업은 자신에게 유리한 방식으로 법의 범위와 책임을 정하려 할 수 있다. 이미 갖춘 내부 시험 절차를 법적 표준으로 만들면 후발 기업보다 대응하기 쉬울 수도 있다. 따라서 “오픈AI가 안전을 위해 희생을 감수했다”는 홍보식 해석도, “사건을 덮기 위한 말뿐인 변화”라는 단정도 근거가 부족하다. 실제 개정 문안과 집행 권한을 봐야 한다.

일반 사용자에게 실제로 중요한 변화

첫째, 모델 공개 전에 어떤 위험 시험을 했는지 설명하는 자료가 더 중요해진다. 지금도 주요 AI 회사는 ‘시스템 카드’나 안전 보고서를 내놓지만 형식과 내용이 제각각이다. 법이 훈련·평가 중 중대한 행동까지 다루면 이용자와 기업 고객은 단순 성능 점수 외에 통제 실패 사례와 대응을 비교할 수 있다.

둘째, 기업용 AI를 도입하는 조직이 공급업체에 물어볼 질문이 달라진다. “이 모델이 얼마나 똑똑한가”뿐 아니라 “외부 도구를 사용할 때 어떤 권한 제한이 있는가”, “시험 중 보안 우회가 발견되면 어떻게 보고하는가”, “사고 기록을 독립적으로 검증받는가”가 구매 기준이 될 수 있다. 특히 이메일·파일·사내 시스템에 접속하는 AI는 말만 생성하는 챗봇보다 실제 행동 범위가 넓다.

셋째, 사고가 일어났을 때 정보가 더 빨리 공개될 가능성이 있다. 현재 SB 53은 중대한 안전 사고의 보고 체계를 두고 있으며, 캘리포니아 비상서비스국은 2027년부터 검토한 사고를 익명·종합 형태로 매년 보고하도록 돼 있다. 개정으로 훈련과 평가 단계까지 범위가 명확해지면 대중은 제품 출시 뒤에야 뒤늦게 알던 위험 신호를 더 일찍 파악할 수 있다. 다만 영업비밀과 보안 문제 때문에 모든 세부 정보가 공개되는 것은 아니다.

한국 이용자에게 캘리포니아법이 직접 적용되는 것은 아니다. 그러나 글로벌 AI 회사가 한 지역을 위해 별도의 안전 체계를 완전히 따로 운영하기는 어렵다. 가장 엄격한 주요 시장의 기준을 전 세계 제품 운영에 공통으로 적용하는 경우가 많다. 유럽연합의 개인정보 보호 규정이 다른 나라 서비스 설계에도 영향을 준 것처럼, 캘리포니아의 사고 보고 기준이 국제적인 기업 고객 계약과 안전 보고 형식에 반영될 수 있다.

규제 강화에도 남는 한계

법이 있다고 위험이 사라지는 것은 아니다. 회사가 직접 시험하고 직접 작성한 보고서만 제출한다면 불리한 결과를 작게 표현할 유인이 남는다. 제3자 평가가 어느 정도 의무화되는지, 규제기관이 원자료를 볼 전문성과 권한을 갖는지가 중요하다. 현재 법은 대형 개발사가 제3자를 활용해 위험과 완화 조치를 평가하는 접근을 안전 체계에 설명하도록 하지만, 모든 시험을 독립기관이 다시 하도록 강제하는 구조는 아니다.

또 사고 정의의 문턱이 높으면 현실적인 피해가 빠질 수 있다. 대규모 사망이나 10억 달러 피해가 아니더라도 개인정보 유출, 특정 집단에 대한 차별, 사기 확산은 이용자에게 심각하다. 반대로 SB 53의 목적은 모든 AI 피해를 하나의 법으로 해결하는 것이 아니라 최첨단 모델의 재난적 위험을 다루는 데 있다. 일상적 소비자 피해는 개인정보법, 차별금지법, 사기 방지 규정 등 다른 제도와 함께 다뤄야 한다.

마지막으로 기업의 입장 변화는 법안 통과와 다르다. 오픈AI가 어떤 수정 문구를 공식 제안할지, 캘리포니아 의회와 주지사가 이를 받아들일지, 다른 AI 회사가 동의할지는 아직 확인되지 않았다. ‘강화 지지’라는 선언만으로 감시 의무가 생긴 것은 아니다.

앞으로 볼 변화

다음 확인 지점은 캘리포니아 의회에 실제 개정안이 제출되는지다. 문안에는 훈련·평가 중 어떤 행동을 보고해야 하는지, 모의 시험과 실제 침해를 어떻게 구분하는지, 보고 기한과 제재가 무엇인지가 담겨야 한다. 오픈AI 외에 구글·앤트로픽·메타가 같은 기준을 지지하는지도 중요하다.

독자가 기억할 핵심은 간단하다. 오픈AI는 8월 22일 SB 53을 더 강화해 모델 개발 중 보안 우회와 기밀 침해 징후까지 감시하자고 제안했다. 현재 법은 대형 최첨단 AI 회사의 안전 체계 공개, 위험 평가, 사고 보고, 내부 고발자 보호를 이미 요구한다. 이번 발표의 의미는 규제가 생겼다는 데 있지 않고, 공개 전 시험 단계의 위험을 어디까지 법적 사고로 볼지 논쟁이 시작됐다는 데 있다.