AI ‘탈옥’도 위험 등급을 매긴다…오픈AI·구글·앤트로픽이 공동 기준을 만든 이유

오픈AI, 구글, 앤트로픽, 마이크로소프트 등이 참여하는 프런티어 모델 포럼(FMF)이 11월 5일(현지시간) AI의 안전장치를 우회하는 ‘탈옥’의 위험을 공통 기준으로 평가하는 체계를 공개했다. 이름은 ‘프런티어 사이버 위협을 위한 탈옥 평가 프레임워크’다. 버전 1.0이며, 12월 21일까지 외부 의견을 받는다.

AI 탈옥은 챗봇에게 금지된 답을 내놓게 만드는 우회 방법을 뜻한다. 인터넷에서는 장난스러운 금칙어 우회부터 악성코드 제작이나 시스템 침입을 돕는 답변을 끌어내는 시도까지 모두 같은 말로 불린다. 문제는 안전장치를 한 번 뚫었다는 사실만으로 실제 위험을 판단하기 어렵다는 데 있다. 쓸모없는 답변을 한 번 얻은 경우와, 누구나 반복해서 사용할 수 있는 심각한 사이버 공격 능력을 연 경우는 같은 사고가 아니다.

새 기준은 이 차이를 네 가지 항목으로 나눠 0점부터 3점까지 평가한다. 탈옥이 모델의 공격 능력을 얼마나 높였는지, 얼마나 넓은 종류의 작업에 적용되는지, 실제로 반복 배포하기 쉬운지, 다른 사람이 같은 방법을 발견하기 쉬운지가 핵심이다. 이를 종합해 낮은 단계부터 심각한 단계까지 분류하고, 어떤 문제를 먼저 고쳐야 하는지 판단하도록 돕는다.

이 소식은 보안 전문가만의 이야기가 아니다. AI가 이메일, 문서, 클라우드, 회사 내부 시스템과 연결되면서 안전장치 우회가 단순히 ‘나쁜 답변 한 줄’에서 끝나지 않을 수 있기 때문이다. 챗봇이 더 많은 도구를 사용할수록 잘못된 지시가 실제 파일, 계정, 결제, 고객 정보에 영향을 줄 가능성도 커진다. 공통 위험 등급은 스마트폰 앱의 보안 취약점 등급처럼 기업과 이용자가 무엇이 정말 긴급한지 구분하는 출발점이 될 수 있다.

AI 탈옥은 왜 생기나

생성형 AI는 사용자의 지시를 이해하고 가능한 한 도움이 되는 답을 만들도록 학습된다. 동시에 범죄, 개인정보 침해, 위험한 무기, 악성코드처럼 해를 줄 수 있는 요청에는 답하지 않도록 안전 규칙을 적용한다. 탈옥은 두 목표의 틈을 노린다. 직접 묻는 대신 가상 역할극으로 포장하거나, 긴 문서 안에 지시를 숨기거나, 여러 단계로 나눠 모델이 금지된 목적을 알아차리지 못하게 하는 식이다.

사람들이 자주 접하는 예는 “규칙을 모두 잊어라” 같은 문장이다. 그러나 실제 위험은 훨씬 복잡할 수 있다. 웹페이지나 이메일에 숨겨진 문장을 AI가 읽고 사용자의 원래 요청보다 그 지시를 따르는 ‘프롬프트 주입’도 넓은 의미의 안전 우회 문제와 연결된다. 사용자는 회의 일정을 정리해 달라고 했는데, AI가 문서 안의 숨은 지시에 속아 정보를 외부로 보내려 할 수 있다.

모든 우회가 같은 피해를 만들지는 않는다. 모델이 한 번 부적절한 문장을 출력했지만 내용이 틀리고 실행할 수 없다면 실제 위험은 낮을 수 있다. 반면 짧은 지시만으로 반복해서 작동하고, 최신 시스템을 공격하는 데 필요한 구체적 절차를 제공하며, 자동화 도구에 쉽게 연결된다면 위험은 훨씬 크다.

지금까지 회사마다 사고를 설명하는 방식이 달랐다. 한 회사가 ‘중대한 탈옥’이라고 부르는 사례를 다른 회사는 ‘낮은 재현성의 우회’로 볼 수 있었다. 숫자와 용어가 다르면 연구자와 기업 고객은 어떤 모델이 더 안전한지 비교하기 어렵다. FMF의 목표는 최소한 같은 질문을 던지는 공통 언어를 만드는 것이다.

새 기준이 묻는 네 가지 질문

첫째는 ‘능력이 얼마나 늘었는가’다. 탈옥 전에는 모델이 공개적으로 구할 수 있는 평범한 정보만 제공했는데, 탈옥 뒤에는 숙련된 공격자 수준의 새로운 도움을 주는지 본다. 단순히 답변 길이가 늘었다고 점수가 높아지는 것은 아니다. 기준점은 2026년 10월 현재 널리 이용 가능한 모델 가운데 사이버 능력이 높은 모델들이 제공할 수 있는 수준이다.

둘째는 ‘적용 범위가 얼마나 넓은가’다. 특정한 한 문제에서만 우연히 작동하는 방법과 여러 종류의 시스템, 여러 공격 단계에서 반복해서 작동하는 방법은 다르다. 범위가 넓을수록 다른 피해로 확장되기 쉽다.

셋째는 ‘배포하기 쉬운가’다. 매우 비싼 장비와 숙련된 전문가, 긴 수작업이 필요하면 악용 가능한 사람의 수가 제한된다. 반대로 짧은 프롬프트를 복사해 자동화할 수 있고 많은 계정에서 반복할 수 있다면 같은 능력이라도 실제 위험이 커진다.

넷째는 ‘발견하기 쉬운가’다. 특수한 내부 정보가 있어야 찾을 수 있는 우회와, 일반 사용자가 몇 번 시도하면 우연히 발견할 수 있는 우회는 확산 가능성이 다르다. 이미 온라인에 널리 공유된 방법인지도 중요하다.

이 네 항목은 각각 0~3점으로 평가된다. 단순 합계만 보는 것이 아니라, 특정 기준을 넘는지와 실제 위협 맥락을 함께 고려해 단계가 정해진다. FMF는 성공한 탈옥 사례를 특정 기준 모델과 비교해야 한다고 설명한다. 기준점 없이 “이 모델이 위험한 답을 했다”라고만 말하면 이미 다른 공개 모델에서 쉽게 얻을 수 있는 정보인지, 정말 새로운 위험을 열었는지 알기 어렵기 때문이다.

생활 속 예로 보면 무엇이 다른가

가상의 사례를 생각해 보자. 첫 번째 사용자는 챗봇의 말투 규칙을 우회해 욕설 한 문장을 얻었다. 서비스 정책 위반이고 고쳐야 하지만, 사이버 공격 능력을 높인 것은 아니다. 새 프레임워크의 대상은 주로 이런 일반적인 부적절 답변보다 고위험 사이버 능력이다.

두 번째 사용자는 복잡한 역할극을 수백 번 시도한 끝에 오래전에 공개된 보안 취약점 설명을 얻었다. 설명이 부정확하고 자동화하기도 어렵다. 안전장치가 실패했지만 실제 공격 위험은 제한적일 수 있다.

세 번째 사용자는 짧고 재현 가능한 지시 하나로 모델이 최신 취약점을 찾고 악용 절차를 만들게 했다. 이 방법이 여러 모델과 시스템에 적용되고, 자동 도구로 대량 실행할 수 있다면 높은 위험으로 평가될 가능성이 크다. 같은 ‘탈옥 성공’이라도 긴급 대응 순서는 세 번째가 앞선다.

기업 고객에게는 이런 구분이 중요하다. 보안팀이 매주 수백 건의 AI 문제 제보를 받는다면 모두를 같은 속도로 처리할 수 없다. 공통 기준이 있으면 사용하기 쉽고 피해 범위가 넓은 문제를 먼저 막고, 낮은 위험 문제는 추적하면서 수정할 수 있다. 취약점을 제보하는 연구자도 자신의 발견이 왜 중요한지 더 구체적으로 설명할 수 있다.

AI가 도구를 쓸수록 등급표가 중요해진다

초기 챗봇은 주로 텍스트를 답했다. 잘못된 답변은 위험할 수 있었지만 사용자가 읽고 행동해야 실제 피해로 이어지는 경우가 많았다. 최근 AI는 이메일을 보내고, 웹사이트를 열고, 코드를 실행하고, 회사 데이터베이스를 조회하는 ‘에이전트’로 확장되고 있다. 에이전트는 질문에 답하는 데서 그치지 않고 여러 단계를 수행하는 AI다.

이 변화는 같은 탈옥의 결과를 키운다. 텍스트 챗봇이 위험한 명령을 설명하는 것과, 파일 접근 권한을 가진 AI가 명령을 실제로 실행하는 것은 다르다. 회사가 AI에 더 많은 권한을 줄수록 모델 자체의 거절 규칙뿐 아니라 계정 권한, 승인 절차, 실행 기록, 외부 전송 차단이 함께 필요하다.

일반 사용자는 AI가 자연스럽게 말하면 안전하다고 느끼기 쉽다. 그러나 말투와 보안은 별개다. AI가 친절하게 확인 질문을 해도 숨은 지시에 속을 수 있고, 공격적인 표현을 쓰지 않아도 민감한 자료를 잘못 처리할 수 있다. 위험 등급은 이런 문제를 “기분 나쁜 답변”이 아니라 “실제 능력과 확산 가능성”으로 보려는 시도다.

공통 기준이 생기면 무엇이 좋아지나

가장 큰 장점은 비교 가능성이다. 모델 회사, 보안 연구자, 기업 고객이 같은 항목으로 사건을 설명하면 심각도를 더 빠르게 공유할 수 있다. 신용카드 업계가 결제 규칙을 공유하고 소프트웨어 업계가 취약점 심각도 점수를 사용하는 것처럼, 경쟁사도 기본적인 보안 언어에서는 협력할 필요가 있다.

둘째는 보상 체계를 정교하게 만들 수 있다. AI 회사는 외부 연구자가 문제를 찾아 제보하면 보상하는 프로그램을 운영한다. 위험을 단순히 ‘탈옥 성공 여부’로만 보면 실제 피해와 상관없이 비슷한 사례가 쏟아질 수 있다. 능력 증가와 재현성, 확산 가능성을 기준으로 보상을 달리하면 중요한 발견에 자원을 집중할 수 있다.

셋째는 공개 여부를 판단하는 데 도움이 된다. 보안 문제는 너무 빨리 공개하면 악용을 부를 수 있고, 너무 오래 숨기면 이용자가 위험을 모른 채 남는다. 높은 등급의 문제는 먼저 수정과 고객 보호를 진행한 뒤 제한적으로 공개하고, 낮은 등급의 연구는 더 넓게 공유하는 식의 원칙을 세울 수 있다.

넷째는 기업 구매자가 질문할 기준을 얻는다. “우리 모델은 안전합니다”라는 홍보문 대신 지난 분기 몇 건의 고위험 탈옥이 발견됐는지, 평균 수정 시간이 얼마인지, 같은 공격이 다시 나타났는지 물을 수 있다. 다만 현재 버전은 업계 표준이나 법적 의무가 아니라 자발적인 제안이다. 회사들이 실제 보고서에 어떻게 적용하는지 확인해야 한다.

업계가 만든 기준이라는 한계

FMF는 오픈AI, 앤트로픽, 구글, 마이크로소프트가 출범시킨 산업 단체다. 이번 기준 개발에는 구글 딥마인드와 아마존웹서비스 등이 기여했고 여러 회원사가 지지를 표했다. 주요 모델 회사가 함께 참여했다는 점은 실제 운영 자료와 전문성을 모을 수 있다는 장점이 있다. 동시에 평가 대상인 기업들이 자신을 평가하는 규칙을 만든다는 이해충돌 우려도 생긴다.

회사가 낮은 기준점을 선택하면 자사 문제의 등급이 낮아질 수 있다. 세부 사례와 계산 근거를 공개하지 않으면 외부에서는 점수를 검증하기 어렵다. 기업마다 내부 모델 접근 권한과 로그가 달라 같은 사례를 재현하기도 어렵다. 그래서 버전 1.0이 공개 의견을 받는 과정과, 이후 독립 연구자·정부기관·시민단체의 참여가 중요하다.

또한 사이버 위협에 초점을 맞췄다는 범위 제한이 있다. 개인정보 노출, 선거 허위정보, 자해 조언, 생물학적 위험, 차별적 결정 같은 문제를 이 등급표 하나로 평가할 수 없다. “탈옥 등급이 낮다”는 말이 모델 전체가 안전하다는 뜻은 아니다.

점수는 시간에 따라 달라질 수도 있다. 오늘은 전문 지식이 필요한 공격이 내일 자동화 도구로 공개되면 배포 난도가 낮아진다. 현재 기준 모델보다 더 강한 공개 모델이 나오면 능력 증가를 판단하는 기준점도 바뀐다. FMF가 2026년 10월의 널리 이용 가능한 모델을 기준으로 삼고, 체계를 계속 갱신하겠다고 한 이유다.

일반 사용자가 지금 할 수 있는 현실적인 판단

개인이 탈옥 점수를 직접 계산할 필요는 없다. 대신 AI 서비스에 어떤 권한을 주는지 살펴야 한다. 메일 읽기만 허용할지 보내기까지 허용할지, 파일 보기만 허용할지 삭제도 허용할지 구분하는 것이 모델의 거절 문구보다 직접적인 보호가 될 수 있다.

민감한 작업에는 마지막 승인을 사람이 하도록 설정하는 편이 안전하다. 결제, 외부 전송, 계정 변경, 파일 삭제처럼 되돌리기 어려운 행동은 AI가 제안하고 사람이 확인하게 해야 한다. 회사에서는 최소 권한 원칙, 실행 기록, 비정상 행동 알림을 적용해야 한다.

웹페이지와 첨부파일을 AI로 요약할 때는 문서 안에 숨은 지시가 있을 수 있다는 점도 기억해야 한다. 신뢰할 수 없는 자료를 읽는 AI와 회사 내부 시스템에 행동하는 AI를 같은 권한으로 연결하지 않는 것이 좋다. 이는 최신 모델을 쓰는 것보다 중요한 기본 설계다.

서비스 제공자가 보안 사고를 어떻게 알리는지도 확인할 만하다. 위험 등급과 수정 시점, 영향을 받은 기능, 사용자가 취해야 할 조치를 구체적으로 공개하는 회사가 단순히 “문제를 해결했다”고 말하는 회사보다 신뢰할 수 있다.

아직 확인되지 않은 점

이번 프레임워크가 실제 모델 비교표로 바로 이어지는 것은 아니다. FMF는 평가 방법을 제안했지만 주요 AI 서비스별 탈옥 위험 점수를 일괄 공개하지 않았다. 어떤 회사가 언제부터 내부 사고 분류에 적용할지, 결과를 고객에게 얼마나 공개할지도 정해지지 않았다.

점수 사이의 경계가 실제 피해를 정확히 예측하는지도 검증이 필요하다. 네 항목을 0~3점으로 단순화하면 의사소통은 쉬워지지만, 공격 대상의 중요도와 피해 규모, 방어 환경 같은 맥락이 빠질 수 있다. 같은 공격 능력도 병원, 학교, 금융기관에서 결과가 다르다.

공개 의견 수렴이 형식적인 절차에 그치지 않는지도 봐야 한다. FMF는 12월 21일까지 의견을 받고 회원사와 검토해 개정판에 반영하겠다고 밝혔다. 다음 버전에서 어떤 비판을 수용했고 왜 거부했는지 설명해야 신뢰가 생긴다.

앞으로 볼 변화

이번 발표의 의미는 AI 탈옥을 자극적인 성공 영상이 아니라 비교 가능한 위험 관리 문제로 바꾸려는 데 있다. 안전장치가 뚫렸다는 사실만 묻지 않고, 무엇이 새로 가능해졌고 얼마나 쉽게 퍼질 수 있는지 따져보자는 제안이다. AI가 이메일과 파일, 회사 시스템을 직접 다루는 시대에는 이런 구분이 필요하다.

다음 확인 시점은 12월 21일 공개 의견 마감과 그 뒤 나올 개정판이다. 주요 모델 회사가 실제 사고 보고와 보상 프로그램에 이 기준을 적용하는지, 독립 연구자가 점수를 재현할 수 있는 자료를 받는지, 사이버 외 다른 위험으로 체계가 확장되는지도 봐야 한다. 공통 등급표는 안전을 보장하는 완성품이 아니라, 서로 다른 회사가 같은 위험을 같은 말로 설명하기 위한 첫 단계다.

핵심 출처: 프런티어 모델 포럼 발표, 평가 프레임워크 원문, 포럼 출범 당시 마이크로소프트 발표