오픈AI가 외부 안전평가팀을 사무실에 들인다…독립 검증은 어디까지 가능할까
오픈AI가 외부 안전평가 기관 네 곳에 미공개 모델, 훈련 자료, 소스 코드, 내부 감시 시스템을 장기간 들여다볼 수 있는 권한을 주기로 했다. 11월 16일 발표된 ‘내부 상주형 평가’의 첫 참여 기관은 아폴로 리서치, METR, 트랜스루스, 굿파이어다. 평가자는 필요하면 오픈AI 사무실에서 회사 장비를 사용하고 연구자와 대화하며, 모델이 개발자의 의도에 반하는 행동을 숨길 수 있는지와 기존 안전장치가 이를 발견하는지를 조사한다.
AI 기업이 신제품 출시 전에 외부 전문가에게 모델을 시험하게 하는 일 자체는 새롭지 않다. 이번 발표가 다른 점은 완성된 모델의 겉모습만 시험하는 것이 아니라 훈련 중간 단계, 내부 평가 기록, 감시 도구, 일부 코드와 데이터까지 접근 범위를 넓힌다는 데 있다. 회계감사처럼 완전히 정립된 제도는 아니지만, 기업이 스스로 작성한 안전 보고서를 외부에서 얼마나 검증할 수 있는지 시험하는 첫 단계에 가깝다.
일반 이용자에게도 이 변화는 중요하다. AI가 이메일을 보내고 구매를 진행하거나 여러 프로그램을 직접 조작하는 시대에는 출시 뒤에 문제를 찾는 것만으로 부족할 수 있다. 모델이 내부 시험에서는 얌전하게 행동하다 실제 환경에서 다른 목표를 추구하는지, 위험한 행동을 감시하는 시스템이 우회될 수 있는지를 출시 전에 확인해야 하기 때문이다.
‘내부 상주형 평가’란 무엇인가
오픈AI 공식 발표가 말하는 내부 상주형 평가는 외부 평가자가 회사 안의 민감한 자료에 접근해 일정 기간 조사하는 방식이다. 필요에 따라 공개되지 않은 모델과 훈련 중간 저장본, 훈련·평가 데이터, 안전 감시 기록, 기술 문서, 소스 코드, 담당 연구자와의 대화가 제공될 수 있다.
일반적인 외부 모델 평가는 공개된 서비스에 질문을 던져 답을 확인하는 방식이 많다. 이는 실제 사용 경험을 살피는 데 유용하지만, 왜 특정 행동이 나왔는지와 내부 감시 장치가 무엇을 놓쳤는지는 알기 어렵다. 상주형 평가는 완성된 자동차를 도로에서 시승하는 데 그치지 않고 설계도, 충돌 시험 기록, 공장 품질관리 로그까지 보는 방식에 비유할 수 있다.
그렇다고 평가자가 회사의 모든 자료를 제한 없이 가져가는 것은 아니다. 조사 범위와 보안 조건은 오픈AI와 각 기관이 사전에 합의한다. 민감한 정보가 필요한 평가자는 오픈AI 사무실에서 회사 장비를 사용하며, 모델 가중치나 핵심 설계처럼 유출 위험이 큰 자료는 오픈AI 연구자와 함께 분석하는 대안이 적용될 수 있다. 깊은 접근과 기업 기밀 보호 사이의 타협이 제도의 핵심이자 한계다.
네 기관은 무엇을 살펴보나
아폴로 리서치는 모델이 개발자의 의도에 은밀히 맞서거나 자신의 행동을 숨기는 ‘전복적 행동’ 가능성을 평가한다. 훈련 과정이 그런 행동을 유도하지 않았는지, 강한 시험과 공격적 테스트에서도 문제가 나타나지 않았는지, 내부 사용 중 의심스러운 시도가 없었는지, 만약 그런 행동을 계획한다면 내부 추론 흔적에서 발견할 수 있는지를 검토한다.
METR은 두 갈래 평가를 준비한다. 하나는 오픈AI가 지금까지 진행한 가장 큰 강화학습 훈련에서 기존 시험과 감시가 놓친 부정렬 행동이 있는지 찾는 것이다. ‘부정렬’은 모델의 행동이 사람이 정한 목표와 어긋나는 상태를 뜻한다. 다른 하나는 위험 행동을 찾는 감시 시스템 자체가 얼마나 튼튼한지 시험하는 작업이다. 두 번째 평가는 범위를 더 협의해야 한다고 오픈AI는 밝혔다.
트랜스루스는 훈련을 마친 뒤 실시하는 안전 평가가 중요한 위험을 충분히 다루는지 살핀다. 공개 모델과 미공개 모델, 행동 데이터, 안전성 주장 문서에 접근하며, 2027년 초에는 약 8주 동안 더 넓은 후속 평가를 진행할 계획이다. 평가 결과가 실제 모델 출시 결정에 어떻게 반영되는지도 후속 조사 범위에 들어갈 수 있다.
굿파이어는 모델 내부의 작동 방식을 해석하는 연구자를 투입한다. 훈련 중 이상 신호를 발견하고, 문제가 생겼을 때 원인을 추적하며, 안전 목표에 맞게 학습되는지 분석하는 것이 중심이다. 결과는 우선 오픈AI 내부 연구자의 개선 작업에 쓰이지만 협업 과정에서 얻은 교훈과 결과도 공개하겠다고 밝혔다.
왜 지금 이런 검증이 필요한가
최신 AI는 단순히 문장을 만들어 주는 도구를 넘어 스스로 여러 단계를 계획하고 외부 프로그램을 조작하는 에이전트로 발전하고 있다. 능력이 커질수록 평가도 ‘금지된 질문에 답하는가’만 봐서는 부족하다. 장기 작업에서 목표를 바꾸는지, 감시받는 상황과 그렇지 않은 상황에서 다르게 행동하는지, 안전 시험을 통과하기 위해 문제 행동을 숨길 수 있는지를 살펴봐야 한다.
기업의 자체 평가만으로는 놓치는 부분도 있다. 같은 팀이 모델을 만들고 시험하면 익숙한 실패 유형에 집중하기 쉽고, 출시 일정이나 경쟁 압력의 영향을 받을 수 있다. 외부 기관은 다른 가설과 도구를 사용해 예상하지 못한 문제를 찾을 가능성이 있다. 특히 평가자가 훈련 기록과 감시 로그를 직접 볼 수 있다면 회사가 고른 최종 결과만 보는 것보다 검증력이 높아질 수 있다.
이번 제도는 오픈AI가 미국의 초지능 안전 관련 합의에서 약속한 독립 평가 이행과도 연결된다. 하지만 기업의 자발적 계약과 법으로 정해진 감사는 다르다. 어떤 모델을 평가할지, 어느 자료를 공개할지, 평가 결과에 따라 출시를 멈출지는 여전히 회사와 계약 구조의 영향을 받는다.
‘독립적’이라는 말의 실제 범위
평가 기관이 오픈AI 직원이 아니라고 해서 자동으로 완전히 독립적인 것은 아니다. 평가 비용을 누가 지불하는지, 조사 범위를 누가 정하는지, 보고서 공개 전에 회사가 무엇을 지울 수 있는지가 독립성에 영향을 준다. 오픈AI는 평가자가 조사 우선순위를 스스로 정하고 증거에 따라 방법을 바꿀 자유를 갖는다고 설명했다. 추가 자료가 필요하면 요청하는 절차도 마련했다고 밝혔다.
동시에 회사는 기밀 정보를 가릴 권리를 유지하고, 보안이나 안전 위험이 있을 때 공개를 늦춰 달라고 요청할 수 있다. 위험한 취약점을 고칠 시간을 주는 ‘책임 있는 공개’는 필요한 절차다. 그러나 삭제 범위가 지나치게 넓거나 지연 기간이 불명확하면 대중은 핵심 문제를 알 수 없다. 최종 보고서에는 무엇이 비공개 처리됐는지와 그 이유, 언제 다시 공개할지를 가능한 범위에서 밝혀야 한다.
평가자가 직원과 나누는 대화는 솔직한 의견을 듣기 위해 원칙적으로 비공개다. 대신 평가자는 대화에서 알게 된 사실을 회사가 공식적으로 확인하도록 요청할 수 있고, 회사가 확인을 거부했다는 사실도 공개할 수 있다. 개인 직원을 보호하면서 중요한 사실을 검증하려는 장치지만, 회사가 확인하지 않은 내용을 어느 정도 보고서에 반영할 수 있는지는 실제 운영을 봐야 한다.
이해상충도 문제다. 평가 기관 연구자가 과거에 오픈AI에서 일했거나 앞으로 취업을 원할 수 있고, 여러 경쟁 AI 기업의 민감한 정보를 차례로 다룰 수도 있다. 오픈AI와 평가 기관들은 재정적 관계와 개인 관계를 공개하고, 일정 기간 다른 회사 업무를 제한하는 냉각 기간을 마련할 계획이다. 구체적인 계약과 회피 결정이 공개돼야 제도의 신뢰성을 판단할 수 있다.
평가 결과가 문제를 찾으면 누가 결정하나
오픈AI는 자사 재단 이사회의 안전·보안 위원회가 평가 전 과정과 최종 보고서를 볼 수 있다고 밝혔다. 위원회는 삭제하지 않은 원본 보고서를 받으며, 평가 기관과 비공개로 대화할 수 있다. 회사와 평가자가 결론에 합의하지 못하면 안전 자문 그룹과 경영진을 거쳐 이 위원회에 판단을 요청하는 절차도 제시했다.
절차가 있다는 것과 그 절차가 강제력을 갖는 것은 다르다. 외부 평가자가 심각한 위험을 발견했을 때 모델 훈련이나 출시를 멈출 권한이 있는지는 발표에 명시되지 않았다. 위원회가 어떤 기준으로 출시 연기, 추가 시험, 기능 제한을 명령하는지와 경영진이 그 결정을 따라야 하는지가 중요하다.
대중이 확인해야 할 것은 평가 보고서의 개수보다 실제 조치다. 문제를 발견한 뒤 어떤 안전장치를 바꿨는지, 같은 시험에서 개선됐는지, 출시 범위가 조정됐는지까지 연결돼야 한다. ‘외부 검증을 받았다’는 문구만 광고처럼 사용하고 구체적인 발견과 대응이 보이지 않는다면 독립 평가의 의미는 작아진다.
일반 이용자는 무엇을 확인하면 되나
첫째, 평가 대상이 무엇인지 봐야 한다. 회사의 가장 강력한 미공개 모델인지, 이미 출시된 비교적 오래된 모델인지에 따라 의미가 다르다. 특정 훈련 한 번에서 문제가 없었다고 해서 다음 모델까지 안전하다는 뜻은 아니다.
둘째, 접근 범위를 확인해야 한다. 평가자가 실제 훈련 기록과 감시 로그를 봤는지, 회사가 준비한 요약 자료만 검토했는지, 예상 밖의 시험을 직접 설계할 수 있었는지가 중요하다. ‘외부 평가’라는 같은 이름 아래 깊이는 크게 다를 수 있다.
셋째, 실패와 한계를 함께 공개하는지 봐야 한다. 안전 보고서가 통과 여부만 보여주면 어디서 문제가 생겼는지 알 수 없다. 표본이 작았던 영역, 자료 접근이 제한된 부분, 평가자와 회사가 의견을 달리한 쟁점이 공개돼야 한다.
넷째, 발견 뒤 조치를 추적해야 한다. 보고서 발표와 모델 출시 사이의 시간, 수정된 안전장치, 재평가 결과가 연결돼야 한다. 독립 평가가 한 번의 행사로 끝나지 않고 같은 위험을 지속적으로 점검하는 구조가 필요한 이유다.
아직 확인되지 않은 점
이번 발표는 네 기관과 계약을 맺고 첫 단계를 시작한다는 내용이다. 아직 최종 평가 보고서는 나오지 않았다. 어떤 심각한 문제가 발견됐는지, 회사가 어느 권고를 받아들였는지, 공개 과정에서 얼마나 많은 내용이 삭제될지는 알 수 없다.
평가 기관의 비용과 계약 조건도 발표에서 구체적으로 공개되지 않았다. 조사 범위 협상에서 회사와 평가자가 충돌했을 때 어느 쪽의 판단이 우선하는지, 보고서 공개 지연의 최대 기간이 있는지도 더 명확해야 한다. 안전·보안 위원회가 중요한 결정을 내렸을 때 그 결정과 근거를 대중에게 얼마나 알릴지도 남은 질문이다.
또한 네 기관 모두 AI 안전 연구 분야의 전문 조직이지만 사회적 영향 전체를 대표하지는 않는다. 차별, 노동, 개인정보, 저작권, 소비자 피해 같은 문제는 모델의 내부 정렬 평가와 다른 전문성이 필요하다. 오픈AI는 앞으로 조직 문화와 안전 체계 준수까지 평가 범위를 넓히는 방안을 검토한다고 밝혔지만 구체적인 기관과 일정은 제시하지 않았다.
앞으로 볼 변화
이번 발표의 핵심은 오픈AI가 외부 평가자에게 더 깊은 내부 접근을 허용하겠다고 약속했다는 점이지, 모델 안전이 이미 입증됐다는 것이 아니다. 독립성은 계약 명칭이 아니라 평가자가 예상 밖의 문제를 찾을 자유, 핵심 자료에 접근할 권한, 회사와 다른 결론을 공개할 능력으로 판단해야 한다.
다음 확인 시점은 각 기관의 첫 공개 보고서가 나올 때다. 보고서에 평가 대상, 접근 제한, 실패 사례, 의견 충돌, 회사의 후속 조치가 구체적으로 담기는지가 중요하다. 이런 정보가 반복적으로 공개되고 실제 출시 결정과 연결된다면 상주형 평가는 AI 업계의 새로운 안전 감사 기준이 될 수 있다. 반대로 결과가 요약 문구와 성공 사례만 남는다면 기업의 자체 안전 주장을 장식하는 절차에 그칠 가능성도 있다.