Claude 사용 정책 2026 업데이트: 에이전트가 물리 행동과 고위험 판단을 할 때 달라지는 기준

Anthropic이 2026년 Claude 사용 정책 업데이트를 공개했다. 적용일은 11월 12일이다. 이번 문서는 단순한 약관 정리가 아니라, AI 에이전트가 더 오래 일하고 더 많은 도구를 쓰는 환경에서 어떤 작업을 막고 어떤 작업은 사람 검토 아래 허용할지 다시 정리한 운영 기준에 가깝다.

개발자에게 중요한 지점은 세 가지다. 첫째, 가짜 계정·가짜 매체·인위적 증폭처럼 ‘누가 말하는지 숨기는 활동’을 별도 섹션으로 묶었다. 둘째, 건강·금융·법률·고용처럼 사람의 권리와 생활에 영향을 주는 추천에는 자격 있는 사람이 검토할 수 있어야 한다. 셋째, Claude가 하드웨어와 연결되어 물리 행동을 할 때는 관찰 가능한 운영자와 안전 정지 상태가 필요하다고 못박았다.

이번 업데이트의 핵심 변화

가장 큰 변화는 금지 행위를 더 제품 운영 관점으로 쪼갰다는 점이다. 이전에는 선거, 사기, 개인정보, 허위정보 같은 항목에 흩어져 있던 규칙이 ‘기만적 캠페인 또는 인위적 활동 금지’로 합쳐졌다. 정치 목적이든 상업 목적이든, 배후를 숨기거나 가짜 계정으로 여론을 키우거나 이런 인프라를 만드는 행위가 같은 범주로 묶인다.

선거 관련 섹션도 좁아졌다. 개인화된 투표·캠페인 타기팅 전체를 막기보다, 유권자를 속이거나 투표를 방해하거나 후보·선거관리자를 사칭하는 행위에 초점을 맞춘다. 합법적인 시민단체가 다국어 투표 안내문을 만들거나 선거기관이 보완 안내를 보내는 일까지 같은 금지 범주로 묶지 않겠다는 뜻이다.

무기 관련 문구도 더 구체적이다. 무기 자체를 설계하는 것뿐 아니라, 무기를 작동하게 만드는 소프트웨어와 구성요소, 드론이나 자율 이동체를 무장시키는 작업도 포함된다고 설명한다. ‘모델이 코드를 써줬을 뿐’이라는 식의 우회 해석을 줄이려는 문장이다.

고위험 의사결정에는 사람 검토가 기본값이 된다

정책은 건강, 법적 권리, 금융, 생계, 필수 서비스 접근에 영향을 주는 사용 사례를 고위험으로 본다. 이런 영역에서 Claude가 추천을 제공한다면, 영향을 받는 사람에게 AI 사용 사실을 알려야 하고, 자격 있는 사람이 그 추천을 검토하고 바꿀 권한을 가져야 한다.

실무로 옮기면 대출 심사 보조, 보험 청구 판정, 채용 후보자 필터링, 의료 상담, 임대 심사 같은 기능은 ‘모델 응답을 그대로 DB에 저장하고 자동 실행’하면 위험하다. 최소한 추천과 결정의 경계를 분리해야 한다. 모델은 근거와 위험 신호를 정리하고, 최종 상태 변경은 담당자가 확인한 뒤 남겨야 한다.

API 설계도 달라진다. recommendation, risk_reason, required_human_review, reviewer_id, notified_user_at 같은 필드를 로그에 남기는 방식이 필요하다. 나중에 문제가 생겼을 때 “AI가 어떤 근거로 말했고, 누가 어떤 판단으로 승인했는지”를 재현할 수 있어야 한다.

물리 행동 에이전트는 더 엄격하게 봐야 한다

새 정책에서 눈에 띄는 부분은 하드웨어와 연결된 모델 요구사항이다. Claude가 로봇, 드론, 설비, 차량, 실험 장비처럼 사람에게 부상을 입힐 수 있는 장치와 연결된다면 자격 있는 운영자가 장비를 관찰하고 중지할 수 있어야 한다. Claude 연결이 끊겨도 장비가 안전한 상태를 유지해야 한다는 조건도 붙었다.

이는 개발팀에게 ‘AI 호출 성공 여부’보다 큰 설계를 요구한다. 예를 들어 창고 로봇이 Claude의 지시로 경로를 바꾸는 구조라면, 모델 응답을 곧바로 모터 제어 명령으로 보내면 안 된다. 중간에 정책 엔진, 충돌 방지 로직, 속도 제한, 비상 정지, 권한 확인, 상태 검증이 있어야 한다.

또한 사람이 개입할 수 있는 UI가 필요하다. 단순 로그 뷰어가 아니라 현재 명령, 다음 행동, 위험 상태, 중지 버튼, 최근 모델 판단 근거를 한 화면에서 볼 수 있어야 한다. 정책 문구를 제품 요구사항으로 바꾸면 ‘관찰 가능성’과 ‘정지 가능성’이 핵심이다.

감시와 법 집행 영역도 명확해졌다

Anthropic은 동의 없는 사람 추적, 과거 데이터 분석을 통한 추적, 수사·체포·기소 대상을 결정하거나 추천하는 용도를 금지한다고 설명했다. 감시 도구를 만들거나 개선하는 데 Claude를 쓰는 것도 금지 대상이다. 반면 동의 기반 사기 모니터링, 콘텐츠 모더레이션, 저널리즘, 법률 연구처럼 허용되는 사용 사례도 함께 적었다.

여기서 중요한 건 데이터 사용 목적이다. 같은 얼굴 인식, 로그 분석, 위치 데이터라도 사기 방지와 정치적 반대자 추적은 완전히 다른 위험이다. 개발팀은 기능 이름보다 데이터 흐름과 결과 행동을 기준으로 판단해야 한다.

권한 모델도 더 세밀해야 한다. 내부 관리자라고 해서 모든 검색과 분석을 허용하면 안 된다. 누가 어떤 사람 데이터를 어떤 목적과 사건 번호로 조회했는지, 결과가 어떤 의사결정에 쓰였는지 남겨야 한다. AI 기능을 붙이면 감사 로그는 선택이 아니라 제품 기능이다.

제품팀이 바로 점검할 항목

이번 정책은 “나쁜 일을 하지 말라”는 추상적 경고가 아니다. AI 에이전트를 제품에 넣는 팀에게 필요한 체크리스트다. 특히 자동화 범위가 넓은 서비스라면 지금 약관 페이지보다 코드와 운영 콘솔을 먼저 봐야 한다.

• Claude가 만든 결과가 사람의 권리, 돈, 건강, 고용, 필수 서비스 접근에 영향을 주는가?
• 영향을 준다면 사람이 검토하고 수정할 수 있는 승인 단계가 있는가?
• 사용자에게 AI 사용 사실을 알리는 화면이나 문구가 있는가?
• 모델이 하드웨어나 외부 시스템의 상태를 실제로 바꾸는가?
• 물리 행동이 있다면 비상 정지, 안전 상태, 운영자 관찰 화면이 있는가?
• 가짜 계정 생성, 대량 게시, 인위적 증폭, 출처 은폐에 악용될 수 있는 API가 있는가?
• 감시·수사·추적 목적으로 데이터가 재사용될 가능성을 권한과 로그로 막고 있는가?

개발자가 취할 현실적인 첫 조치는 위험 분류표를 만드는 것이다. 각 AI 기능을 ‘정보 제공’, ‘추천’, ‘상태 변경’, ‘외부 제출’, ‘물리 행동’으로 나누고, 뒤로 갈수록 승인과 로그 요구사항을 높인다. 모델 성능보다 먼저 이 경계가 정리돼 있어야 제품이 오래 간다.