미국 빅테크가 AI 안전을 ‘자율 규제’하기로 했다…법이 아닌 합의로 충분할까

도널드 트럼프 미국 대통령과 구글, 앤트로픽, 메타, 오픈AI, 엔비디아, xAI의 주요 경영진은 2026년 9월 29일 백악관에서 첨단 AI의 안전 관리에 관한 자발적 합의에 서명했다. 합의문은 기업 내부 통제, 내부 감독팀, 외부 독립 평가, 이사회 차원의 감독이라는 네 겹의 장치를 두고 AI가 해킹이나 생물·화학 위험에 악용되지 않도록 점검하자는 내용을 담았다. 트럼프 대통령은 이를 “도덕적으로 구속력이 있다”고 표현했지만, 위반했을 때 법적 처벌이 따르는 규정은 아니다.

같은 날 백악관은 연방 행정부가 비법률 문서와 공식 소통에서 ‘인공지능(AI)’ 대신 ‘슈퍼 인텔리전스(SI)’라는 표현을 쓰도록 하는 행정명령도 발표했다. 이 명령은 명칭을 바꾸는 것이지, 현재 기술이 사람보다 모든 면에서 뛰어난 초지능에 도달했다는 과학적 판정은 아니다. 기존 법률상 정의는 당분간 유지되고, 백악관 과학기술 담당자는 60일 안에 새로운 연방 정의와 입법 문구를 제안하도록 지시받았다.

이 소식을 접한 일반 독자가 궁금해할 질문은 “AI 기업들이 스스로 안전을 점검하겠다고 약속하면 실제 사고를 막을 수 있는가?”다. 답은 ‘최소한의 공통 절차를 빠르게 만드는 데는 도움이 될 수 있지만, 합의문만으로 강제 규제를 대신한다고 보기는 어렵다’에 가깝다. 무엇을 위험으로 볼지, 외부 평가자를 누가 고를지, 문제가 발견됐을 때 출시를 중단해야 하는지, 결과를 대중에게 공개할지에 대한 세부 기준이 아직 분명하지 않기 때문이다.

누가 무엇에 합의했나

공개된 보도에 따르면 서명에는 구글의 순다르 피차이, 앤트로픽의 다리오 아모데이, 메타의 마크 저커버그, 오픈AI의 그레그 브록먼, 엔비디아의 젠슨 황, xAI의 일론 머스크가 참여했다. 이들은 각 회사가 자사 기술을 안전하게 개발하고 고객과 대중의 신뢰를 쌓을 책임이 있다는 원칙에 동의했다. 참가 기업들은 정기적으로 만나 안전 기준과 모범 사례도 논의하기로 했다.

첫 번째 층은 모델을 훈련할 때부터 출시한 뒤까지 성능과 행동을 살피는 내부 통제다. 합의문은 특히 사이버 보안, 생물학, 화학 분야의 위험과 AI가 의도하지 않은 방식으로 시스템에 접근하거나 해킹하는 상황을 언급한다. 쉬운 말로 바꾸면 모델이 무엇을 할 수 있는지 시험하고, 위험한 능력이 발견되면 제한 장치를 두라는 것이다.

두 번째 층은 회사 안에서 통제가 제대로 작동하는지 확인하는 별도 감독팀이다. 제품을 빨리 출시해야 하는 부서가 자기 시험을 스스로 통과시킬 수 있다면 안전 점검의 신뢰가 떨어질 수 있다. 따라서 개발팀과 일정한 거리를 둔 조직이 감시·탐지 체계와 후속 조치를 확인하자는 취지다.

세 번째 층은 외부 평가자나 감사기관의 독립적인 시험이다. 내부자가 놓칠 수 있는 문제를 다른 시각에서 확인하고, 회사의 안전 주장을 그대로 믿지 않도록 만드는 장치다. 네 번째 층은 이사회 안의 독립 위원회가 내부팀과 외부 평가자의 보고를 받아 감독하는 구조다. 기술적 문제가 경영진의 책임과 연결되도록 하려는 것이다.

이 네 단계는 기업 지배구조에서 낯선 방식이 아니다. 금융회사가 거래 위험을 관리하고 외부 감사를 받는 것처럼, AI 기업에도 개발팀 바깥의 검증과 이사회 책임을 두겠다는 구상이다. 중요한 차이는 이번 합의가 법률이나 연방 규정이 아니라 참가 기업의 약속이라는 데 있다.

왜 지금 이런 합의가 나왔나

최근 AI 경쟁은 질문에 답하는 챗봇에서 스스로 도구를 사용하고 여러 단계를 실행하는 에이전트로 빠르게 이동했다. 에이전트가 파일, 이메일, 웹사이트, 회사 시스템을 다루면 잘못된 답변이 실제 행동으로 이어질 수 있다. 의도하지 않은 데이터 전송, 권한 오용, 잘못된 삭제와 구매 같은 사고가 생길 수 있어 모델의 능력뿐 아니라 행동 통제가 중요해졌다.

또한 첨단 모델이 사이버 공격이나 위험한 과학 지식을 얼마나 쉽게 제공할 수 있는지를 두고 업계 내부에서도 경고가 커졌다. 기업들은 강한 모델을 빨리 출시해야 시장에서 뒤처지지 않지만, 사고가 발생하면 고객 신뢰와 규제 환경 전체를 잃을 수 있다. 이번 합의는 경쟁을 멈추지 않으면서 최소한의 안전 절차를 공통 약속으로 묶으려는 정치적 절충으로 볼 수 있다.

트럼프 행정부는 중국과의 경쟁에서 미국이 속도를 늦춰서는 안 된다고 강조해 왔다. 강한 사전 규제보다 기업의 자율 관리와 사후 책임에 무게를 두는 이유도 여기에 있다. 반면 일부 연구자와 업계 경영진은 모델의 능력이 안전 기술보다 빠르게 발전할 수 있다고 경고한다. 합의문에는 이 두 입장이 함께 들어 있다. 혁신을 계속하되 통제와 감사를 여러 층으로 쌓겠다는 것이다.

‘자율 규제’가 실제로 작동하려면

자율 규제의 장점은 빠르다는 데 있다. 법률은 기술 변화보다 늦게 만들어질 수 있지만 기업은 새 모델을 출시하기 전에 바로 시험 절차를 바꿀 수 있다. 회사마다 제품 구조가 다르므로 일률적인 규칙보다 위험에 맞춘 통제를 설계하기도 쉽다. 외부 평가와 이사회 보고를 실제로 시행한다면 지금보다 책임 소재가 분명해질 수 있다.

하지만 약점도 뚜렷하다. 첫째, 기업은 출시 지연과 안전 사이에서 이해 충돌을 겪는다. 경쟁사가 새 모델을 내놓는 상황에서 자사 시험에서 발견된 문제 때문에 출시를 미루는 결정은 쉽지 않다. 둘째, 외부 평가자를 기업이 직접 고르고 비용을 지불하면 독립성이 충분한지 논란이 생길 수 있다. 셋째, 위험 기준과 평가 결과가 공개되지 않으면 소비자는 회사가 약속을 지켰는지 알기 어렵다.

합의문이 실효성을 가지려면 최소한 네 가지가 구체화돼야 한다. 어떤 성능이 발견되면 추가 시험이나 출시 중단이 필요한지, 외부 평가 기관이 따라야 할 공통 기준은 무엇인지, 중대한 사고를 정부와 대중에게 언제 알릴지, 약속을 반복해서 지키지 않은 기업에 어떤 불이익이 있는지다. 현재 보도만으로는 이 세부사항이 충분히 확인되지 않는다.

트럼프 대통령은 감독자와 약 10명 규모의 위원회를 두는 구상을 언급했다. 이들의 구성, 권한, 보고 방식이 공개되면 합의가 단순한 선언인지 운영 체계인지 더 분명해질 것이다. 감독자가 기업 자료를 실제로 볼 수 있는지, 안전 문제에 시정을 요구할 수 있는지, 공개 보고서를 낼지 여부가 핵심이다.

일반 사용자와 기업에 무엇이 달라지나

개인이 오늘 사용하는 챗봇의 화면이나 요금이 바로 바뀌는 발표는 아니다. 합의가 제대로 시행되면 새 모델과 AI 에이전트가 출시되기 전에 더 많은 내부·외부 시험을 거치고, 고위 경영진이 위험 보고를 받는 절차가 자리 잡을 수 있다. 다만 기업의 안전 선언만 보고 특정 서비스가 안전하다고 단정할 수는 없다.

서비스를 고르는 기업 고객은 “합의에 서명했는가”보다 실제 자료를 확인해야 한다. 외부 평가가 있었는지, 평가 범위가 무엇인지, 데이터 유출과 권한 오용이 발생했을 때 고객에게 알리는 시간이 정해져 있는지, 작업 기록을 감사할 수 있는지를 봐야 한다. 의료, 금융, 공공 분야처럼 오류 비용이 큰 조직은 자체 승인 절차를 유지해야 한다.

일반 사용자에게는 AI가 대신 행동하는 기능의 승인 설정이 중요하다. 메일 발송, 결제, 계정 변경, 파일 영구 삭제처럼 되돌리기 어려운 행동은 사람의 확인을 거치도록 해야 한다. 국가 차원의 합의가 있더라도 개인 계정의 잘못된 권한 설정까지 자동으로 해결해 주지는 않는다.

창작자와 언론, 시민단체 입장에서는 합의의 범위도 살펴야 한다. 이번 발표의 중심은 첨단 모델의 통제와 사이버·생물·화학 위험이다. 저작권, 개인정보, 차별, 일자리 변화, 데이터센터의 전력과 물 사용 같은 문제를 모두 해결하는 포괄 규제는 아니다. ‘AI 안전 합의’라는 큰 이름 때문에 다른 사회적 쟁점까지 다뤄졌다고 오해해서는 안 된다.

‘AI’를 ‘슈퍼 인텔리전스’로 바꾸라는 명령의 의미

같은 날 발표된 행정명령은 연방 행정부가 공식 서신, 웹사이트, 보고서, 정책 문서 같은 비법률 자료에서 AI 대신 SI라는 용어를 쓰도록 했다. 과거 규정, 계약, 보조금, 역사적 문서를 고쳐 쓰도록 요구하지는 않는다. 현행 법률이 AI를 정의한 부분도 대통령의 용어 선택만으로 즉시 바뀌지 않는다.

행정명령은 현재의 첨단 시스템이 인간의 창의성과 능력을 크게 확장하므로 기존 명칭보다 ‘슈퍼 인텔리전스’가 가능성을 잘 표현한다고 주장한다. 그러나 기술 업계와 학계에서 초지능은 보통 인간의 지적 능력을 광범위하게 넘어서는 가상의 또는 미래의 시스템을 뜻해 왔다. 현재 제품 전체를 같은 이름으로 부르면 실제 능력과 정책적 홍보가 섞일 수 있다.

소비자에게 중요한 것은 이름이 아니라 기능과 한계다. 서비스가 SI라고 불려도 틀린 정보를 만들 수 있고, 맥락을 오해할 수 있으며, 연결된 도구를 잘못 사용할 수 있다. 오히려 더 강한 명칭이 과도한 신뢰를 만들지 않도록 구체적인 시험 결과와 사고 정보를 함께 공개해야 한다.

또한 행정명령은 60일 안에 새로운 연방 정의와 법률 개정 제안을 만들도록 했다. 실제로 의회가 법을 바꿀지, 기존 주법과 국제 규정에서 AI라는 표현을 계속 쓸 때 용어가 어떻게 맞춰질지는 아직 정해지지 않았다. 따라서 당장은 미국 연방 행정부의 표현 정책으로 이해하는 것이 정확하다.

기업의 주장과 확인된 사실을 나누면

확인된 사실은 주요 기업 경영진이 네 단계의 안전 관리 원칙에 서명했고, 합의가 자발적이며, 참가 기업이 정기적으로 기준과 모범 사례를 논의하기로 했다는 것이다. 백악관의 별도 행정명령이 연방 행정부의 용어 사용을 바꾸도록 했다는 점도 공식 문서에서 확인된다.

아직 확인되지 않은 부분은 더 많다. 외부 감사의 공통 자격, 평가 결과의 공개 범위, 위반 시 조치, 감독위원회의 법적 권한, 회사별 시행 일정은 추가 설명이 필요하다. 기업들이 같은 원칙을 실제로 얼마나 엄격하게 적용할지도 독립적인 보고가 나와야 판단할 수 있다.

‘도덕적으로 구속력 있다’는 표현은 정치적 약속의 무게를 강조하지만 법적 의무와 같지 않다. 평판과 고객 압력은 기업 행동을 바꿀 수 있으나, 사고를 숨기거나 약속을 지키지 않았을 때 정부가 자동으로 벌금을 부과할 근거가 되는 것은 아니다. 합의문 자체도 시간이 지나면 법률이나 규정으로 만들 필요가 있을 수 있다고 인정한다.

앞으로 볼 변화

첫 번째 관전 지점은 백악관이 예고한 감독자와 위원회의 구성이다. 독립 연구자, 시민사회, 노동자, 피해 가능성이 큰 산업의 목소리가 포함되는지 확인해야 한다. 두 번째는 참가 기업이 외부 평가 보고서를 어느 수준까지 공개하는지다. 결과가 전혀 공개되지 않으면 고객과 시민이 합의의 효과를 검증하기 어렵다.

세 번째는 중대한 안전 문제가 발견됐을 때 실제 출시가 연기되는 사례가 나오는지다. 자율 규제는 약속문보다 불편한 결정을 내릴 때 시험받는다. 네 번째는 60일 뒤 제안될 ‘슈퍼 인텔리전스’의 법적 정의와 의회의 반응이다. 명칭 변경이 실질적인 안전 기준과 책임 규정으로 이어지는지, 홍보 언어에 머무는지가 드러날 것이다.

독자가 기억해야 할 핵심은 이번 합의가 규제가 완성됐다는 뉴스가 아니라, 미국 정부와 주요 기업이 법보다 먼저 공통 안전 절차를 약속했다는 뉴스라는 점이다. 효과는 감사 기준, 공개성, 사고 대응, 불이행의 결과가 구체화되는지에 달려 있다.

핵심 출처: 백악관 ‘슈퍼 인텔리전스 시대’ 행정명령, 로이터 보도를 바탕으로 한 합의 설명, 합의 참여자와 네 단계 감독 구조 보도