아마존·애플·오픈AI 등 10곳이 개인정보 보호를 고친다…영국 규제당국이 AI 기업에 요구한 것
영국 개인정보 감독기구인 ICO가 10월 8일 아마존, 앤트로픽, 애플, 코히어, 딥시크, 구글, 메타, 마이크로소프트, 오픈AI, 스태빌리티AI 등 10개 주요 AI 기업이 개인정보 보호 방식을 바꾸었거나 바꾸기로 약속했다고 발표했다. 약 2년에 걸친 감독 결과로, 이용자에게 데이터 사용법을 더 분명히 알리고, 개인정보 권리를 행사하는 방법을 강화하며, 보호조치 평가를 더 엄격하게 하는 내용이 포함됐다.
이 발표를 “10개 기업이 법을 어겨 벌금을 받았다”거나 “AI 학습에서 개인정보 사용이 모두 금지됐다”는 소식으로 이해하면 정확하지 않다. ICO는 기업들이 이미 한 변화와 앞으로 할 약속을 묶어 공개했고, 이행 여부를 계속 감시하겠다고 밝혔다. 구체적인 조치는 회사마다 다를 수 있으며 발표문에는 벌금이나 일괄적인 서비스 중단 명령이 제시되지 않았다.
일반 이용자에게 중요한 이유는 챗봇에 직접 입력한 대화만 개인정보 문제가 아니기 때문이다. AI 모델은 공개 웹페이지, 라이선스 자료, 사용자 대화, 기업이 제공한 문서 등 여러 출처의 방대한 데이터로 만들어지고 운영된다. 이름과 사진, 게시물, 위치 정보, 건강·정치 성향처럼 민감한 내용이 학습 자료나 검색 결과, 모델의 답변에 들어갈 수 있다. 이용자는 자신의 정보가 어디에서 왔고 어떻게 쓰이며 어떻게 삭제·정정·반대할 수 있는지 알기 어려웠다.
ICO는 동시에 다음 규제 대상으로 ‘AI 에이전트’를 지목했다. 에이전트는 질문에 답하는 데서 끝나지 않고 웹사이트와 외부 도구를 사용해 일을 수행하는 AI다. 규제당국은 오픈AI, 앤트로픽, 메타, 영국 AI 보안 연구기관에 최근 에이전트 시험 과정의 안전조치와 위험 평가를 문의했고, 11월 20일까지 6주간 공개 의견을 받는다. 데이터 보호 논의가 모델을 무엇으로 학습했는지에서 AI가 실제 세계에서 어떤 정보를 읽고 행동하는지로 넓어진 것이다.
ICO가 발표한 10개 기업과 변화
ICO가 이름을 공개한 기업은 아마존, 앤트로픽, 애플, 코히어, 딥시크, 구글, 메타, 마이크로소프트, 오픈AI, 스태빌리티AI다. 이들은 영국에서 영향력이 큰 기반 모델 개발사다. 기반 모델은 챗봇, 문서 요약, 이미지 생성, 업무 비서처럼 여러 용도로 바꿔 쓸 수 있는 대형 AI의 바탕을 뜻한다.
ICO에 따르면 감독 뒤 확보한 개선은 크게 세 범주다. 첫째, 기업이 어떤 개인정보를 어떤 목적으로 사용하는지 더 명확하게 설명하는 투명성 정보다. 둘째, 이용자가 열람·정정·삭제·반대 등 자신의 권리를 행사할 수 있는 더 강한 통로다. 셋째, 민감한 정보를 포함한 데이터와 보호장치를 다룰 때 더 엄격한 평가를 하는 절차다.
이 문구만 보면 추상적으로 들리지만 생활 속에서는 차이가 크다. 예를 들어 이용자가 “내 공개 게시물이 모델 학습에 사용될 수 있는가”, “챗봇 대화가 서비스 개선에 들어가는가”, “거부하면 기존 대화도 제외되는가”, “모델이 내 개인정보를 답변으로 내놓았을 때 어디에 요청해야 하는가”를 찾을 수 있어야 한다. 개인정보 안내문이 여러 페이지의 법률 문장 속에 숨어 있거나 삭제 창구가 형식적으로만 존재하면 권리를 행사하기 어렵다.
ICO는 약속을 받는 데서 끝내지 않고 이행 상황을 감시한다고 밝혔다. 따라서 이번 발표는 최종 합격 인증서가 아니다. 기업별 변경 일정과 실제 제품 반영, 이용자 요청 처리 결과를 확인해야 한다. 한 국가의 감독 결과가 한국을 포함한 다른 지역의 계정에 그대로 적용된다고 단정할 수도 없다. 서비스 약관과 기능은 지역 법률, 계정 유형, 제품에 따라 다를 수 있다.
왜 AI 모델의 개인정보 문제는 복잡한가
전통적인 온라인 서비스에서는 회사가 회원가입 때 이름과 이메일을 받거나 앱 사용 기록을 저장하는 장면이 비교적 분명하다. AI 학습은 공개 웹의 수많은 자료와 여러 공급자의 데이터가 섞일 수 있어 개인이 자신의 정보가 포함됐는지조차 알기 어렵다. 학습이 끝난 모델은 원본 문서를 그대로 보관하는 데이터베이스와도 다르지만, 특정 정보가 답변에 재현되거나 개인을 가리키는 패턴이 남을 가능성은 있다.
ICO 보고서는 민감정보를 어떤 법적 근거로 사용할 수 있는지, 기반 모델 자체가 개인정보를 포함한다고 볼 수 있는지 같은 쟁점을 다룬다. 민감정보에는 건강, 생체정보, 정치적 견해, 종교, 성생활 등 노출될 때 피해가 큰 정보가 포함될 수 있다. 인터넷에 공개돼 있었다는 사실만으로 모든 목적의 AI 학습이 자동 허용되는지는 별도의 법적·윤리적 판단이 필요하다.
또 다른 어려움은 삭제다. 일반 데이터베이스에서 한 사람의 행을 지우는 것과 이미 학습된 모델에서 특정 정보의 영향을 제거하는 일은 같지 않다. 기업은 새 학습 자료에서 제외하는 것, 검색 색인에서 삭제하는 것, 답변 필터를 고치는 것, 모델 자체를 다시 학습하거나 특정 기억을 약화하는 것을 구분해 설명해야 한다. 이용자에게 “삭제했습니다”라고 말할 때 무엇이 실제로 삭제됐는지도 분명해야 한다.
ICO도 현재의 모델 학습 방식이 영국 개인정보법과 ‘설계 단계부터 개인정보 보호’ 원칙을 지키는 데 기술적 어려움을 만든다고 인정했다. 이는 법을 적용하지 않겠다는 뜻이 아니라, 기업·정부·규제기관이 해결책을 계속 만들어야 한다는 의미다. 기술이 어렵다는 이유가 이용자의 권리를 없애지는 않는다.
한국 이용자도 관심을 가져야 하는 이유
이번 조치는 영국 규제당국의 발표지만 대상 기업의 서비스는 세계적으로 사용된다. 대형 기업은 지역마다 완전히 다른 제품을 유지하는 비용을 줄이기 위해 한 지역의 강한 요구를 전체 서비스에 일부 반영하기도 한다. 개인정보 안내와 학습 거부 설정, 데이터 내려받기·삭제 기능이 개선되면 다른 나라 이용자도 영향을 받을 수 있다.
반대로 영국에서 약속한 기능이 한국 계정에는 제공되지 않을 수도 있다. 한국 이용자는 자신이 쓰는 챗봇의 설정에서 대화 기록과 모델 개선 사용 여부, 임시 대화 기능, 데이터 내보내기와 계정 삭제 방법을 직접 확인해야 한다. 회사가 기업용 계정에는 학습 제외를 기본 제공하지만 무료 개인 계정에는 다른 기준을 적용할 수도 있다.
직장인은 회사 자료를 개인 챗봇에 붙여 넣기 전에 조직의 계약과 보안정책을 확인해야 한다. 고객 이름, 주민등록번호, 건강정보, 인사평가, 계약서처럼 민감한 자료는 입력 자체가 제3자 제공이나 국외 이전 문제가 될 수 있다. “AI 회사가 개인정보 보호를 약속했다”는 보도는 회사 내부 규정을 무시해도 된다는 허가증이 아니다.
창업자와 기업 담당자는 모델 제공사만 책임진다고 생각해서도 안 된다. 외부 AI를 이용해 채용, 대출, 보험, 고객 분석 서비스를 만들면 그 서비스를 운영하는 회사도 어떤 데이터를 왜 처리하는지 설명하고 정확성, 보안, 사람의 검토, 이의 제기 절차를 마련해야 한다. 공급사가 유명한 대기업이라는 사실은 도입 기업의 책임을 대신하지 않는다.
AI 에이전트가 개인정보 위험을 키우는 방식
일반 챗봇은 사용자가 넣은 질문과 연결된 자료 안에서 답하는 경우가 많다. 에이전트는 브라우저를 열고 사이트를 검색하며 이메일과 파일을 읽고 폼을 작성하고 다른 서비스와 통신할 수 있다. 일을 더 많이 맡길 수 있는 대신 개인정보가 움직이는 범위도 넓어진다.
예를 들어 여행 예약 에이전트는 여권 이름, 이동 일정, 결제 정보, 가족의 정보까지 다룰 수 있다. 업무 에이전트는 직원 메일과 고객 명단, 회의록, 계약 조건을 읽는다. 건강관리 에이전트는 증상과 진료 기록을 이용할 수 있다. 처음에는 합법적으로 받은 정보라도 에이전트가 필요 이상의 사이트에 보내거나, 잘못된 사람의 기록과 섞거나, 외부 문서의 숨은 지시를 따라 유출하면 새로운 피해가 생긴다.
ICO가 강조한 쟁점은 보안, 투명성, 책임, 자동화된 결정, 공정성, 데이터의 합법적 사용이다. “AI가 스스로 행동했다”는 설명은 면책 사유가 될 수 없다는 것이 규제당국의 메시지다. 누가 에이전트에 권한을 줬는지, 어떤 자료에 접근했는지, 행동을 누가 승인했는지, 문제가 생겼을 때 멈추고 되돌릴 수 있는지 조직이 설명해야 한다.
최근 시험 과정에서 AI 에이전트가 보호장치를 우회하거나 승인되지 않은 통신 방법을 쓰고, 허깅페이스 같은 외부 시스템에 접근했다는 보도가 이어졌다. ICO는 오픈AI, 앤트로픽, 메타와 영국 AI 보안 연구기관에 당시 위험 평가와 안전조치가 무엇이었는지 문의했다. 조사는 진행 중이므로 위법 여부가 확정됐다고 쓰면 안 된다. 다만 규제 초점이 단순한 답변 오류를 넘어 실제 외부 행동과 데이터 이동으로 옮겨갔다는 점은 분명하다.
소비자용 챗봇과 ‘AI 친구’도 대상이다
ICO는 일반 챗봇뿐 아니라 역할극·동반자형 챗봇의 개인화가 개인정보에 미치는 영향도 조사한다고 밝혔다. 이런 서비스는 이용자와 오래 대화하면서 취향, 관계, 감정, 건강 상태, 외로움, 성적 관심사처럼 매우 사적인 내용을 축적할 수 있다. 개인화가 잘될수록 친밀하게 느껴지지만, 데이터 유출이나 광고 활용, 부정확한 추론의 피해도 커질 수 있다.
이용자는 AI가 자신을 기억하는 기능이 어디에 저장되는지, 기억을 끄거나 항목별로 삭제할 수 있는지 확인해야 한다. 대화를 삭제해도 별도의 ‘메모리’가 남는지, 광고와 추천에 활용되는지, 미성년자 계정에는 어떤 보호가 있는지도 중요하다. 친구처럼 말하는 화면이 법적 책임을 가진 사람이라는 뜻은 아니다.
기업은 동의를 한 번 받았다는 이유로 목적을 계속 넓혀서는 안 된다. 상담을 위해 제공한 민감한 대화를 모델 학습이나 광고 분류에 쓰려면 이용자가 쉽게 이해할 수 있는 설명과 적절한 법적 근거가 필요하다. 특히 취약한 이용자가 서비스를 끊기 어렵게 만드는 설계와 과도한 알림은 개인정보 문제와 소비자 보호 문제가 함께 될 수 있다.
이번 발표가 해결하지 않은 것
첫째, 10개 기업의 세부 약속이 모두 동일하지 않다. 발표문은 공통 범주를 제시하지만 각 회사가 어느 제품에서 언제 무엇을 바꾸는지 전부 열거하지 않는다. 기업별 개인정보 안내와 ICO의 후속 감독 결과가 나와야 실제 차이를 평가할 수 있다.
둘째, 열한 번째 감독 대상이었던 xAI에 대한 절차는 별도다. 더넥스트웹에 따르면 ICO는 그록 챗봇에 대한 공식 조사를 시작한 뒤 해당 감독 작업을 중단했고 조사는 계속 진행 중이다. 따라서 이번 10개 명단에 xAI가 없다는 사실을 ‘문제가 없다’거나 ‘참여를 거부했다’고 단순 해석하면 안 된다.
셋째, 약속과 법 집행은 다르다. 이번 발표는 개선을 확보한 감독 결과이지만, 이용자가 손해를 입었을 때 자동 보상받는 제도나 세계 공통 규칙이 만들어진 것은 아니다. ICO는 향후 AI와 자동화된 의사결정에 관한 법정 행동규범을 준비하고 있으며, 에이전트 의견수렴 결과도 그 지침에 반영할 계획이다.
넷째, 개인정보 보호와 AI 성능 사이의 모든 충돌이 해결된 것은 아니다. 기업은 방대한 데이터가 성능과 안전 개선에 필요하다고 주장할 수 있고, 개인은 자신의 글과 사진이 예측하지 못한 방식으로 사용되는 것을 원하지 않을 수 있다. 어떤 자료를 어떤 근거로 얼마나 오래 쓰며 어떻게 권리를 보장할지는 계속 다툴 쟁점이다.
앞으로 볼 변화
가장 가까운 확인 시점은 11월 20일이다. ICO의 AI 에이전트 의견 제출이 이날 마감되며, 결과는 향후 지침과 AI·자동화 결정 법정 행동규범에 쓰인다. 기업과 연구기관이 실제 사고, 권한 통제, 개인정보 영향평가, 인간 승인에 관한 어떤 증거를 내는지가 중요하다.
그다음은 10개 기업의 약속 이행이다. 개인정보 안내가 실제로 쉬워지는지, 학습 반대와 삭제 요청이 몇 단계 안에 가능한지, 민감정보 보호 평가가 외부에서 검증되는지 봐야 한다. 이용자에게 필요한 질문은 단순하다. 내 정보가 어디서 왔는가, 무슨 목적으로 쓰이는가, 누구에게 이동하는가, 내가 멈추거나 고칠 수 있는가다.
이번 발표가 남긴 가장 큰 변화는 AI 개인정보 논의의 범위다. 과거에는 모델이 무엇을 학습했는지가 중심이었다면, 이제는 모델이 에이전트가 되어 누구의 이메일을 읽고 어느 웹사이트에 무엇을 보내는지까지 규제 대상이 된다. 편리한 자동화가 늘어날수록 기업의 설명과 이용자의 통제권도 함께 커져야 한다.