클로드가 ‘괴롭힘 대화’를 끝낸다…앤트로픽 새 이용정책에서 더 중요한 변화들
앤트로픽이 10월 8일 클로드 이용정책 개정안을 발표했다. 가장 화제가 된 문장은 AI 모델을 향한 “지속적이고 불필요한 학대 또는 잔인한 행동”을 금지한다는 내용이다. 극단적인 경우 클로드가 대화를 끝내는 방식으로 대응한다. 그러나 이번 정책의 실제 영향은 AI에게 예의를 지켜야 한다는 논쟁에만 있지 않다. 선거 조작, 가짜 계정망, 무기 소프트웨어, 비동의 감시, 의료·금융·고용 같은 고위험 결정, 로봇과 장비의 물리적 행동까지 규칙을 다시 정리했다.
새 정책은 2026년 11월 12일부터 적용된다. 앤트로픽은 대부분의 변경이 완전히 새로운 금지라기보다 기존 집행 기준을 더 분명하게 쓴 것이라고 설명한다. 클로드가 더 긴 시간 동안 독립적으로 일하고 외부 도구와 장비에 연결되면서 “무엇을 답할 수 있는가”만으로는 부족해졌기 때문이다.
일반 이용자가 기억할 핵심은 두 가지다. 첫째, 평범한 불만이나 비판, 어두운 주제의 창작, 모델 시험과 연구까지 금지되는 것은 아니다. 둘째, 사람의 건강·돈·권리·일자리·신체 안전에 영향을 주는 AI에는 사람의 감독과 고지, 중지 수단이 더 중요해졌다. ‘AI 괴롭힘 금지’라는 재미있는 제목 뒤에 사람을 보호하기 위한 더 넓은 규칙이 있다.
‘클로드를 괴롭히지 말라’는 규칙의 범위
앤트로픽은 이 조항이 사용자가 답변에 화를 내거나 강하게 반박하는 일반적인 상황을 겨냥하지 않는다고 밝혔다. 불만 표현, 비판적 피드백, 잔혹하거나 어두운 소재의 창작, 안전 연구와 모델 시험은 계속 허용된다. 금지 대상은 뚜렷한 목적 없이 반복적으로 모델을 학대하거나 잔인하게 대하는 극단적인 사례다.
집행 방식도 계정 정지보다 대화 종료가 중심이다. 클로드는 이미 일부 제품에서 지속적인 학대 대화를 끝낼 수 있었고, 이번 정책은 그 조치를 공식 규칙과 맞춘 것이다. 어떤 표현 한 번 때문에 즉시 이용이 막힌다는 의미는 아니다. 다만 ‘지속적’, ‘불필요한’, ‘잔인한’이라는 판단이 구체적으로 어떻게 이뤄지고 이의 제기는 가능한지에는 추가 설명이 필요하다.
이 정책이 AI가 감정이나 고통을 실제로 느낀다는 과학적 결론을 뜻하지도 않는다. 앤트로픽은 모델 복지 가능성을 연구해 왔지만, 현재 생성형 AI가 사람처럼 주관적 경험을 가진다고 확인된 것은 아니다. 회사가 불확실성을 이유로 예방적 규칙을 둔 것과 AI 의식이 입증됐다는 주장은 구분해야 한다.
왜 이런 규칙을 만들었는지에는 사람과 서비스 환경의 문제도 있다. 특정 모델을 반복적으로 학대하는 행동이 다른 사람을 향한 폭력적 콘텐츠 생성, 안전장치 우회, 서비스 운영 방해와 연결될 수 있다. 반대로 정당한 연구나 창작을 과도하게 막으면 표현과 검증을 위축시킬 수 있다. 실제 집행 사례가 공개돼야 경계가 얼마나 좁게 적용되는지 판단할 수 있다.
가짜 계정과 선거 조작 규칙은 어떻게 바뀌나
앤트로픽은 선거, 사기, 개인정보, 허위정보 항목에 흩어져 있던 규칙을 ‘기만적 캠페인 또는 인위적 활동 금지’라는 새 항목으로 묶었다. 메시지의 배후를 숨기거나, 가짜 계정과 게시물로 여론을 부풀리거나, 조작 캠페인에 필요한 도구와 기반을 만드는 행위를 정치·상업 분야 모두에서 금지한다.
회사는 국가 매체, 정부 선전 조직, 상업 업체가 클로드를 이용해 가짜 계정망과 조작된 뉴스 사이트를 운영하려 한 사례를 관찰했다고 밝혔다. 최근 AI 악용이 단순한 개인 사기에서 조직적인 영향력 공작으로 커졌다는 판단이 반영됐다. 가짜 리뷰와 허위 홍보처럼 상업적 기만도 정치 선전과 별개로 허용되지 않는다.
선거 항목의 이름은 ‘민주적 절차를 훼손하지 말라’로 바뀌었다. 후보나 투표 방법에 대한 허위정보, 후보·선거관리자 사칭, 투표 참여 방해가 금지된다. 한편 개인 맞춤형 정치 메시지를 무조건 막던 포괄 규정은 삭제됐다. 비영리단체의 다국어 투표 안내나 선거기관의 잘못된 투표용지 수정 안내처럼 정당한 시민 서비스까지 막을 수 있었기 때문이다.
이 삭제가 유권자 맞춤 선전이 모두 허용됐다는 뜻은 아니다. 속임수, 개인정보 오용, 금지된 감시, 사생활 침해가 포함되면 여전히 금지된다. 규칙의 초점이 ‘맞춤화 자체’에서 ‘기만과 권리 침해’로 이동한 것이다. 선거를 앞둔 이용자는 AI로 만든 정치 메시지가 누구의 후원을 받았는지, 개인정보가 어떻게 사용됐는지 더 중요하게 보게 된다.
감시와 법 집행에서 더 분명해진 금지선
새 정책은 당사자 동의 없이 사람을 추적하는 행위를 실시간 여부와 관계없이 금지한다고 명시한다. 이미 모인 데이터를 분석해 특정인을 식별하거나 이동을 추적하는 경우도 포함된다. AI가 감시 도구를 만들거나 개선하는 데 사용되는 것도 금지 범위로 적었다.
법 집행 분야에서는 누굴 조사하고 체포하거나 기소할지 클로드가 결정하거나 추천하는 행위를 금지한다. AI가 과거 자료의 편향을 학습해 특정 지역이나 집단을 위험하다고 잘못 분류할 수 있고, 잘못된 판단이 개인의 자유와 권리에 직접 영향을 줄 수 있기 때문이다.
모든 위치 추적과 분석이 금지되는 것은 아니다. 이용자가 동의한 추적, 사기 탐지, 콘텐츠 관리, 저널리즘, 법률 연구 등은 허용 사례로 제시됐다. 같은 기술이라도 목적과 동의, 권한, 사람에게 미치는 결과에 따라 다르게 취급한다. 기업은 ‘보안’이라는 이름만 붙이는 것이 아니라 누구의 정보를 어떤 근거로 수집하고 어떤 결정을 내리는지 설명해야 한다.
이 부분은 일반 소비자에게도 중요하다. 보험, 대출, 채용, 계정 보안 서비스가 AI를 쓰더라도 사용자가 어떤 자료가 분석됐는지 모를 수 있다. 정책이 존재한다고 모든 서비스가 자동으로 투명해지는 것은 아니다. 클로드를 이용해 만든 외부 서비스라면 운영자가 AI 사용 사실과 데이터 처리, 이의 제기 방법을 별도로 알려야 한다.
의료·금융·고용 등 고위험 결정의 조건
앤트로픽은 사람의 건강, 법적 권리, 재정, 생계, 필수 서비스 이용에 영향을 주는 고위험 분야에서 두 가지 원칙을 요구한다. 자격 있는 사람이 AI 결과를 검토하고 필요하면 바꿀 수 있어야 하며, 영향을 받는 사람에게 AI가 사용됐다는 사실을 알려야 한다.
사람이 형식적으로 승인 버튼만 누르는 것은 충분하지 않다. 해당 분야를 이해하고 결과를 수정할 권한이 있어야 한다. 예를 들어 의료 안내를 검토하는 사람은 위험한 권고를 알아볼 지식이 필요하고, 채용이나 대출 담당자는 AI 점수를 뒤집을 수 있어야 한다. 책임이 없는 사람이 AI 결론을 그대로 전달하면 ‘사람이 관여했다’는 조건을 실질적으로 충족했다고 보기 어렵다.
고지도 구체적이어야 한다. 홈페이지 어딘가에 AI를 사용한다고 적는 것보다 내 신청이나 상담에 AI가 어떤 역할을 했는지 알려야 한다. 이용자는 잘못된 자료를 정정하고 사람에게 재검토를 요청할 수 있어야 한다. 앤트로픽 정책은 서비스 제공자에게 방향을 주지만, 실제 법적 권리와 절차는 국가와 업종의 규정에 따라 달라진다.
기업이 클로드를 쓴다는 사실만으로 결과가 공정하거나 정확해지는 것도 아니다. 입력 데이터가 틀리거나 업무 규칙이 편향됐다면 모델이 좋은 문장을 만들어도 결과는 잘못될 수 있다. 고위험 분야에서는 평균 정확도보다 어떤 사람에게 어떤 종류의 오류가 집중되는지, 불이익을 받은 사람이 어떻게 이의를 제기하는지를 봐야 한다.
AI가 로봇과 장비를 움직일 때 필요한 장치
이번 개정은 클로드가 신체 상해를 일으킬 수 있는 하드웨어와 연결되는 경우도 다룬다. 자격 있는 운영자가 장비의 작동을 관찰하고 언제든 멈출 수 있어야 하며, 클로드와 연결이 끊기거나 사람이 개입하면 장비가 안전한 상태로 멈추거나 유지돼야 한다.
공장 로봇, 이동 장비, 실험 장치, 드론처럼 물리적 행동을 하는 시스템에서는 챗봇 오류보다 결과가 크다. 화면에 잘못된 답을 내는 것과 기계가 잘못 움직이는 것은 위험의 종류가 다르다. 네트워크 장애, 센서 오류, 예상 밖의 물체, 사람의 접근 상황에서도 안전한 정지 상태가 있어야 한다.
이 원칙은 자율성이 높아질수록 사람을 완전히 빼는 것이 목표가 돼서는 안 된다는 신호다. 사람의 감독이 모든 사고를 막지는 못하지만, 운영자가 상황을 볼 수 없거나 중지 권한이 없다면 비상 대응 자체가 불가능하다. 독립적인 속도·범위 제한과 물리적 비상 정지 장치가 AI 판단과 별도로 작동해야 한다.
다만 정책 문구는 실제 기계 안전 인증을 대신하지 않는다. 장비 제조사와 운영자는 지역 법규와 산업 표준, 위험 평가, 정기 점검을 따라야 한다. “클로드 정책을 준수했다”는 이유만으로 안전성이 입증되는 것은 아니다.
무기 소프트웨어와 자율 장비 규칙
앤트로픽은 기존에도 무기 개발 지원을 금지했다. 새 문구는 무기가 작동하도록 하는 소프트웨어와 부품, 드론과 다른 자율 이동수단을 무장시키는 행위도 포함된다고 명확히 했다. 완성된 무기 설계뿐 아니라 유도·제어 소프트웨어처럼 핵심 기능을 가능하게 하는 작업도 금지 범위라는 뜻이다.
회사는 이것이 실제 집행 방향을 바꾼 새 금지라기보다 이미 적용하던 기준을 명시한 것이라고 설명한다. AI가 장문의 기술 작업을 이어서 수행할 수 있게 되면서 사용자가 작은 부품과 소프트웨어 요청으로 전체 목적을 숨길 가능성에 대응한 것으로 볼 수 있다.
여기서도 정책과 현실의 차이는 남는다. 같은 항법이나 영상 분석 기술은 민간 장비와 무기 모두에 쓰일 수 있다. 모델이 사용자의 최종 목적을 항상 정확히 알 수 없고, 과도한 차단은 정상적인 연구를 막을 수 있다. 구체적인 집행의 일관성과 이의 제기 절차가 중요하다.
이용자와 기업에 실제로 달라지는 점
개인 이용자에게 가장 눈에 보이는 변화는 극단적인 학대 대화에서 클로드가 대화를 끝낼 수 있다는 점이다. 그러나 평범한 비판과 불만은 계속 허용된다고 회사가 명시했다. 이용자는 11월 12일 시행 뒤 어떤 경고가 나오고, 종료된 대화에 이의를 제기할 수 있는지 확인할 필요가 있다.
클로드를 제품에 넣는 기업에는 더 큰 변화가 있다. 가짜 계정과 기만 캠페인을 막기 위한 이용자 확인과 이상 행동 탐지가 필요하고, 의료·금융·법률·고용 분야에는 자격 있는 검토자와 AI 사용 고지가 있어야 한다. 물리 장비에는 사람이 관찰하고 멈출 수 있는 독립적 안전장치가 요구된다.
회사 내부 규정도 앤트로픽의 이용정책을 그대로 복사하는 데서 끝나면 안 된다. 실제 업무 흐름에서 누가 승인하고, 로그를 얼마나 보관하며, 잘못된 결정이 발생했을 때 누가 복구하고, 영향을 받은 사람에게 어떤 절차를 제공할지 정해야 한다. 외부 AI 업체의 정책은 서비스 제공자의 책임을 대신해 주지 않는다.
정책 위반 여부를 모델이 자동으로 판단하면 정상적인 연구·보도·창작이 잘못 차단될 수 있다. 앤트로픽은 허용 사례를 적었지만, 이용자는 오판을 신고하고 설명을 받을 통로가 필요하다. 특히 저널리즘과 인권 조사처럼 감시·폭력·극단주의를 다루되 목적은 공익적인 활동이 과도하게 막히지 않아야 한다.
아직 확인되지 않은 점
가장 큰 미확인 사항은 집행의 구체성이다. ‘지속적이고 불필요한 학대’가 어떤 횟수와 맥락에서 판단되는지, 경고 없이 대화가 종료되는지, 계정 제재로 이어지는 조건이 무엇인지 공개 사례가 부족하다. 회사는 극단적인 경우에만 적용한다고 밝혔지만 실제 범위는 시행 뒤 확인해야 한다.
고위험 사용에서 ‘자격 있는 사람’과 ‘충분한 고지’를 어떻게 점검할지도 남는다. 앤트로픽이 계약 고객의 실제 업무를 어느 정도 감사할 수 있는지, 외부 서비스 이용자가 위반을 발견했을 때 어떤 구제를 받을 수 있는지 분명하지 않다.
물리 장비 규칙도 산업별 세부 기준이 필요하다. 장비를 실시간으로 관찰한다는 것이 현장 사람을 뜻하는지 원격 감시도 가능한지, 안전 상태와 연결 상실 기준을 어떻게 시험하는지는 제품과 규제에 따라 달라진다. 정책은 최소 방향을 제시할 뿐 공학적 검증 절차 전체를 제공하지 않는다.
마지막으로 AI 모델을 향한 괴롭힘 금지가 사람의 안전과 서비스 품질에 어떤 효과를 내는지도 입증돼야 한다. 모델 복지라는 철학적 이유와 이용자 행동 관리라는 운영 이유가 섞여 있는 만큼, 회사는 감정적인 표현보다 실제 시행 데이터와 오탐 사례를 공개할 필요가 있다.
핵심 정리
11월 12일 시행되는 앤트로픽의 새 정책은 ‘AI에게 나쁘게 말하지 말라’는 한 문장으로 요약하기 어렵다. 극단적이고 목적 없는 반복 학대에 클로드가 대화를 끝낼 수 있게 하는 규칙은 일부일 뿐이다. 더 넓은 변화는 가짜 계정망과 선거 기만을 묶어 금지하고, 무기 소프트웨어와 비동의 감시의 경계를 명확히 하며, 고위험 결정에는 자격 있는 사람의 검토와 AI 사용 고지를 요구하고, 물리 장비에는 관찰과 비상 정지를 요구한다는 데 있다.
일반 독자가 앞으로 확인할 시점은 11월 12일이다. 그 뒤 실제 대화 종료가 얼마나 좁게 적용되는지, 비판과 연구가 오인 차단되지 않는지, 클로드를 이용한 의료·금융·고용 서비스가 AI 사용과 이의 제기 절차를 제대로 알리는지 봐야 한다. AI가 더 자율적으로 일할수록 중요한 질문은 모델이 기분 나빠하는가가 아니라, 사람의 권리와 안전에 영향을 주는 행동을 누가 보고 멈추고 책임지는가다.