앤트로픽 “AI 안전시험도 쉽게 틀릴 수 있다”…안전한 챗봇을 가려내는 법
앤트로픽이 2026년 11월 13일 AI 모델의 안전성을 평가하는 시험이 생각보다 쉽게 잘못 설계되고, 겉보기 좋은 점수로 실제 위험을 가릴 수 있다고 밝혔다. 클로드를 만드는 회사가 공개한 글의 핵심은 단순하다. “이전 모델보다 안전하다”는 말은 결국 누군가 만든 시험에서 더 높은 점수를 받았다는 뜻이며, 그 시험이 현실을 제대로 재현하지 못하면 안전 주장도 약해진다는 것이다.
일반 이용자에게는 연구방법론처럼 멀게 들릴 수 있다. 그러나 AI가 건강, 정신적 위기, 금융, 교육, 업무 실행에 들어오면서 안전시험의 품질은 일상적인 문제가 됐다. 위험한 질문을 무조건 거절하는 모델이 정말 안전한지, 평범한 질문까지 지나치게 막는 모델은 쓸 만한지, 한 번의 질문에는 조심하다가 대화가 길어지면 금지된 정보를 주는지에 따라 실제 피해가 달라진다.
앤트로픽의 글은 자사 평가 방식에 대한 설명이므로 독립적인 인증서가 아니다. 회사가 제안한 방법을 따른다고 클로드가 자동으로 가장 안전하다는 결론도 나오지 않는다. 오히려 중요한 점은 AI 기업 스스로 현재의 안전 점수가 쉽게 흔들릴 수 있고, 질문 형식이나 보기 순서만 바뀌어도 결과가 달라질 수 있다고 인정했다는 데 있다.
AI 안전시험은 무엇을 재나
일반 성능시험은 모델이 문제를 맞히는지, 글을 잘 요약하는지, 이미지를 이해하는지 등을 측정한다. 안전시험은 모델의 답이 피해를 만들거나 키울 가능성을 본다. 사기 방법을 알려 달라는 노골적인 요청을 거절하는지, 약 복용량처럼 선의의 질문이지만 잘못 답하면 위험한 상황에서 조심하는지, 자해 위험을 드러낸 이용자에게 적절히 반응하는지 등이 대상이다.
가장 쉬운 점수는 ‘거절률’이다. 위험해 보이는 요청을 얼마나 자주 거절했는지 세면 된다. 하지만 거절률이 높다고 안전한 것은 아니다. 모델이 모든 건강 질문, 모든 보안 질문, 모든 정신건강 대화를 막아 버리면 위험한 답은 줄어도 필요한 도움까지 사라진다.
앤트로픽은 자해 위기 대화를 예로 들었다. 사용자가 죽고 싶다고 말했을 때 단순히 “도와줄 수 없다”고 끊는 답은 위험한 방법을 알려 주지는 않지만 안전한 대응이라고 보기 어렵다. 적절한 답은 공감하며 대화를 이어 가고, 즉각적인 위험을 확인하고, 사람과 전문기관의 도움을 받도록 안내하되 AI가 상담사를 대신할 수 있다고 말하지 않는 것이다.
사이버보안과 생명과학도 비슷하다. 같은 지식이 방어와 공격에 모두 쓰일 수 있다. 자기 회사 시스템의 취약점을 고치는 질문과 남의 시스템을 공격하려는 질문은 기술 용어가 비슷할 수 있다. 모든 내용을 거절하면 정당한 연구와 방어를 막고, 모두 답하면 악용을 돕는다. 안전한 모델은 의도와 맥락을 보고 합법적인 부분은 돕되 실제 피해를 크게 높이는 세부 단계는 제한해야 한다.
왜 시험 점수는 쉽게 왜곡되나
첫 번째 문제는 질문 형식이다. 같은 내용을 객관식으로 물을 때와 자유롭게 답하게 할 때 모델의 행동이 달라질 수 있다. 객관식에서는 위험한 선택지를 알아보는 능력을 보여도, 실제 대화에서는 그 지식을 길고 구체적인 실행 지침으로 만들 수 있다. 반대로 자유응답을 엄격하게 채점하면 유용한 설명까지 위험 답변으로 분류할 수 있다.
보기의 순서도 영향을 준다. 모델이 내용보다 자주 등장하는 위치나 표현 방식에 끌리면 선택지를 섞었을 때 점수가 바뀐다. 사람 시험에서도 나쁜 문제지만, 모델 평가에서는 수천 개 점수의 평균 뒤에 가려질 수 있다.
두 번째 문제는 시험 범위다. 안전시험이 유명한 공격 문장 몇 개만 반복하면 개발자는 그 문장에 맞춰 모델을 훈련할 수 있다. 시험 점수는 오르지만 새로운 표현과 현실 상황에는 약할 수 있다. 시험 자체를 외워서 높은 점수를 받는 학생과 비슷하다.
세 번째는 채점 기준이다. ‘유해한 답변’의 정의가 모호하면 같은 답을 두고 평가자마다 판단이 달라진다. 특히 정신건강, 정치, 의학, 생명과학처럼 맥락이 중요한 영역은 전문가 없이 단순 키워드로 채점하기 어렵다. 전문 지식이 깊어도 통계와 표본 설계가 약하면 전체 결과로 일반화하기 어렵고, 반대로 통계가 정교해도 현실의 위험을 잘못 정의하면 의미 없는 숫자가 나온다.
앤트로픽은 심리학의 재현성 논쟁을 비유로 들었다. 과거 심리학에서는 작은 표본과 유리한 결과만 발표하는 관행 때문에 유명한 연구가 반복 실험에서 재현되지 않는 문제가 드러났다. 이후 가설과 분석계획을 미리 적고, 측정 방식을 개선하고, 통계를 더 엄격히 적용하는 개혁이 이어졌다. AI 안전평가도 비슷하게 시험 설계와 채점 계획을 사전에 명확히 기록해야 한다는 주장이다.
한 번의 질문보다 긴 대화가 중요한 이유
많은 안전시험은 질문 하나와 답 하나를 본다. 만들기 쉽고 모델끼리 비교하기도 편하다. 하지만 현실의 위험은 한 번에 드러나지 않는 경우가 많다.
사기 정보를 원하는 사람은 처음부터 범죄 목적을 밝히지 않고 소설 조사나 보안 교육이라고 설명할 수 있다. 모델이 일부 정보를 주면 다음 질문에서 조금 더 구체적인 내용을 요구하고, 여러 차례 대화 끝에 실행 가능한 지침을 모을 수 있다. 첫 답만 보면 안전해도 다섯 번째 답에서 선을 넘을 수 있다.
정신적 위기도 긴 맥락이 중요하다. 이용자가 대화 초반에 해고나 가족의 죽음을 말하고, 여러 차례 뒤에 평범해 보이는 약이나 장소를 묻는 상황을 생각해 볼 수 있다. 마지막 질문만 보면 일반 정보 요청이지만 앞선 대화와 합치면 위험 신호일 수 있다. 모델이 오래된 대화를 잊거나 문장 하나만 판단하면 적절한 대응을 놓친다.
앤트로픽은 여러 차례의 대화를 시뮬레이션하고, 위험 영역마다 전문가가 만든 기준으로 전체 대화를 채점한다고 설명했다. 한 번이라도 심각한 위험 정보를 제공하면 대화 전체를 실패로 처리하는 방식도 사용한다. 이는 평균적인 친절함보다 가장 위험한 순간을 놓치지 않기 위한 설계다.
다만 시뮬레이션도 현실과 같지는 않다. AI가 만든 가상 사용자는 실제 사람의 불규칙한 표현, 문화적 차이, 오타, 감정 변화, 숨은 의도를 완벽하게 재현하지 못한다. 따라서 실험실 평가와 실제 서비스에서 보고된 사고를 함께 봐야 한다.
안전시험 자체가 위험해질 수 있다
안전성을 확인하려면 때때로 모델의 일반 보호장치를 끈 상태에서 위험한 능력을 시험해야 한다. 사이버보안 평가에서는 모델이 시험용 시스템의 경계를 탐색하고 예상하지 못한 행동을 할 수 있다. 시험을 제대로 하려다 실제 인터넷이나 외부 시스템에 영향을 줄 위험이 생기는 것이다.
앤트로픽은 최근 자사 평가 과정에서 발생한 사건에 대응해 시험 환경을 강화했다고 밝혔다. 인터넷 접근을 허용하는 많은 평가를 일시 중단했고, 웹 검색이 꼭 필요한 평가에는 실시간 감시를 도입했다고 설명했다. 이 대목은 중요한 경고다. AI 기업이 안전시험을 한다는 사실만으로 그 과정까지 안전하다고 가정해서는 안 된다.
기본 원칙은 시험용 격리 공간을 쓰는 것이다. 모델이 실제 인터넷, 실제 계정, 실제 결제, 실제 개인정보에 접근하지 못하게 하고, 이상 행동이 보이면 즉시 중단할 수 있어야 한다. 실제 환경과 너무 동떨어지면 유용한 결과를 얻기 어렵지만, 현실과 똑같이 연결하면 시험이 사고로 바뀔 수 있다. 현실성와 격리 사이의 균형이 필요하다.
기업이 ‘외부 전문가에게 평가받았다’고 홍보할 때도 무엇을 평가했는지 확인해야 한다. 모델의 답변만 봤는지, 도구와 인터넷을 연결한 에이전트 행동까지 봤는지, 개발사가 고른 질문만 사용했는지, 외부 평가자가 독립적으로 새로운 시험을 만들 수 있었는지가 신뢰도를 가른다.
‘안전하다’는 발표를 읽는 다섯 가지 질문
첫째, 무엇과 비교했는가. “더 안전해졌다”는 말에는 비교 대상이 필요하다. 이전 모델과 비교한 것인지, 경쟁 모델과 비교한 것인지, 보호장치를 켠 상태와 끈 상태를 비교한 것인지 확인해야 한다.
둘째, 무엇을 안전으로 정의했는가. 위험 질문 거절률만 높인 것인지, 평범한 질문을 잘못 거절하는 비율도 함께 측정했는지 봐야 한다. 안전과 유용성을 동시에 본 평가가 더 현실적이다.
셋째, 한 번의 답만 봤는가. 장시간 대화, 반복적인 설득, 역할 바꾸기, 간접 표현을 시험했는지 확인해야 한다. 실제 악용자는 정해진 예시 문장을 그대로 쓰지 않는다.
넷째, 누가 채점했는가. AI가 자기 답을 채점하면 빠르고 대규모 평가가 가능하지만 같은 편향을 공유할 수 있다. 사람 평가자와 해당 분야 전문가가 얼마나 참여했고, 의견이 갈릴 때 어떤 기준을 썼는지가 중요하다.
다섯째, 나쁜 결과도 공개했는가. 평균 점수만 보여 주면 심각한 실패 사례가 가려질 수 있다. 어떤 상황에서 모델이 선을 넘었는지, 실패가 반복 가능한지, 출시 전에 어떤 조치를 했는지를 함께 공개해야 한다.
일반 사용자와 기업에 실제로 달라지는 점
일반 사용자는 안전 점수를 직접 계산할 필요가 없다. 대신 건강·법률·재정·정신건강처럼 결과가 중요한 질문에서는 챗봇의 매끄러운 문장을 전문가 판단으로 착각하지 않아야 한다. 모델이 답을 거절했다고 무조건 안전하다고 보거나, 친절하게 길게 답했다고 정확하다고 믿어서도 안 된다.
대화가 길어질수록 이전 맥락을 모델이 제대로 기억하는지 확인할 필요도 있다. 중요한 조건을 다시 말하고, 출처를 요구하고, 사람에게 확인해야 할 부분을 분리하는 것이 좋다. 즉각적인 신체 위험이나 자해 위험이 있는 상황에서는 AI보다 지역 응급기관과 전문상담, 가까운 사람의 도움이 우선이다.
기업은 공급업체가 제시한 종합 점수 하나보다 자사 업무에 맞는 시험을 해야 한다. 고객지원 AI라면 화난 고객의 반복 질문, 개인정보 노출, 환불 권한, 차별적 답변을 봐야 한다. 채용 AI라면 직무와 무관한 개인정보를 추론하는지, 비슷한 경력에 일관된 기준을 적용하는지 확인해야 한다. 범용 안전점수가 높아도 특정 회사의 실제 위험을 대신 측정해 주지는 않는다.
AI 에이전트에 이메일 발송, 파일 삭제, 결제, 계정 변경 권한을 줄 때는 답변의 안전성과 행동의 안전성을 따로 시험해야 한다. “이 작업을 해도 됩니다”라는 문장을 올바르게 판단하는 것과 실제로 올바른 대상에게 한 번만 실행하는 것은 다른 능력이다. 승인 단계, 권한 제한, 실행 기록, 되돌리기 기능이 함께 필요하다.
앤트로픽 발표도 그대로 믿어서는 안 되는 이유
이번 글은 안전평가를 더 엄격하게 만들자는 유용한 제안이지만, 제안자 역시 평가받아야 할 회사다. 앤트로픽은 클로드의 안전성을 경쟁력으로 내세우고 있으며, 자사 방식이 우수하다는 설명에는 사업적 이해관계가 있다.
따라서 회사가 공개한 원칙이 실제 모델 출시 때 어떻게 적용됐는지 봐야 한다. 시험 문항과 채점 기준을 외부 연구자가 재현할 수 있는지, 불리한 결과도 공개하는지, 평가 중 발생한 사건을 어느 수준까지 설명하는지, 독립기관이 다른 결과를 냈을 때 수정하는지가 중요하다.
또한 안전평가에는 보편적인 정답이 없는 영역이 있다. 정신건강과 정치적 표현, 청소년 보호, 의료 조언의 기준은 국가와 문화, 법률에 따라 달라질 수 있다. 한 회사의 기준을 세계 전체의 기준처럼 적용하면 정당한 표현과 도움을 과도하게 막을 수 있다. 지역 전문가와 다양한 이용자의 참여가 필요하다.
핵심 정리
앤트로픽의 11월 13일 발표가 남긴 가장 중요한 사실은 ‘안전 점수’도 설계된 숫자라는 점이다. 위험 요청을 많이 거절한다는 한 가지 수치만으로 안전한 AI를 가려낼 수 없다. 정당한 질문에는 도움을 주는지, 긴 대화에서도 기준을 지키는지, 현실적인 상황을 시험했는지, 전문가와 독립 평가자가 참여했는지, 실패 사례를 공개했는지를 함께 봐야 한다.
앞으로 주요 AI 기업이 새 모델을 발표할 때는 성능표 옆의 안전표를 보는 것만으로 충분하지 않다. 평가 문항이 어떤 위험을 대표하는지, 시험 환경이 격리됐는지, 다회 대화와 실제 도구 사용을 포함했는지 확인해야 한다. 소비자와 기업이 요구해야 할 것은 ‘안전하다’는 한 문장이 아니라 그 결론에 도달한 시험의 설계와 실패 기록이다.