오픈AI “기업 대화 저장 없이 장기 악용 탐지”…새 개인정보 보호 방식의 의미

오픈AI는 8월 19일(현지시간) 고성능 AI 모델을 쓰는 기업 고객의 대화 내용을 보관하지 않으면서도 여러 대화에 걸친 악용 징후를 찾는 ‘프라이빗 세이프티 프로세싱’을 공개했다. 아직 일부 초기 고객과 시험 중인 기능이며, 9월부터 순차 출시하고 기술 백서도 내놓을 계획이다.

이번 발표는 AI 안전을 위해 고객의 대화를 저장해야 한다는 주장과, 금융·의료·기업 기밀을 외부에 남길 수 없다는 요구가 충돌하는 지점에서 나왔다. 오픈AI는 원문을 사람이 들여다보지 않고도 자동화된 시스템이 위험 유형을 알리는 신호만 보낼 수 있다고 설명한다. 다만 현재는 미리보기 단계이고, 독립적인 기술 검증 결과나 백서가 아직 공개되지 않았다. ‘절대 아무것도 남지 않는다’는 소비자용 개인정보 약속으로 확대 해석해서는 안 된다.

‘데이터를 보관하지 않는다’는 약속은 누구에게 해당하나

오픈AI가 말하는 ‘제로 데이터 리텐션’, 즉 ZDR은 자격을 갖춘 API 고객을 위한 정책이다. API는 기업이나 서비스가 오픈AI 모델을 자사 제품과 업무 시스템에 연결할 때 쓰는 통로다. ZDR이 적용되면 요청 처리가 끝난 뒤 기업이 보낸 프롬프트와 모델의 응답을 오픈AI가 보관하지 않는다. 고객 내용은 오픈AI 직원의 검토 대상이 되지 않고, 기업 고객 데이터는 고객이 명시적으로 동의하지 않는 한 모델 훈련에도 쓰이지 않는다는 것이 회사의 설명이다.

여기서 가장 중요한 단어는 ‘자격을 갖춘 API 고객’이다. 이번 발표는 일반 개인이 쓰는 챗GPT의 모든 대화에 새 정책이 자동 적용된다는 소식이 아니다. 챗GPT 무료·플러스 계정의 데이터 설정과 기업의 API 계약은 구분해야 한다. 회사가 AI 서비스를 도입할 때도 “오픈AI는 데이터를 학습에 쓰지 않는다”는 한 문장만 확인할 것이 아니라, 실제 계약에 ZDR이 적용되는지와 어떤 기능이 예외인지 살펴야 한다.

기존 ZDR 환경에서도 안전 장치는 있었다. 다만 한 번의 요청과 응답을 개별적으로 평가하는 방식이었다. 명백한 악성 코드 요청이나 금지된 행동처럼 한 대화만 봐도 드러나는 위험은 찾을 수 있지만, 여러 날과 여러 대화에 나눠진 의도는 놓칠 수 있다.

예를 들어 공격자가 해로운 목표를 한 번에 말하지 않고 작은 질문으로 쪼개면 각 질문은 평범한 연구처럼 보일 수 있다. 여러 계정을 사용해 안전장치를 반복해서 시험하거나, 긴 작업을 맡은 AI가 사용자가 중단하라고 했는데도 계속 행동하는 경우도 한 장면만 봐서는 전체 위험을 파악하기 어렵다. 모델이 길고 복잡한 업무를 맡을수록 대화 사이의 연결을 보는 안전 기능이 필요해진다는 것이 오픈AI의 문제의식이다.

새 기능은 어떻게 작동한다고 설명했나

프라이빗 세이프티 프로세싱은 관련된 여러 상호작용에서 반복되는 위험 패턴을 자동으로 찾도록 설계됐다. 핵심은 오픈AI 직원에게 원래 프롬프트와 답변을 보여주지 않는다는 주장이다.

오픈AI가 설명한 저장 방식은 두 가지다. ZDR 배포에서는 고객 내용이 고객이 통제하는 기반 시설에 남는다. 별도로 오픈AI 기반 시설에 내용을 저장하는 방식도 개발 중인데, 이 경우 고객이 통제하는 암호화 키로 데이터를 잠근다. 오픈AI 직원은 그 키의 사본을 갖지 않기 때문에 원문에 접근할 수 없다고 회사는 밝혔다.

자동화된 시스템은 저장 위치와 관계없이 내용을 이용해 위험 패턴을 평가한다. 위험이 감지되면 오픈AI로 전달되는 것은 대화 원문이 아니라 활동 유형을 나타내는 제한된 신호다. 회사는 이 신호를 바탕으로 정책 집행이 필요한지 결정한다. 신호가 발생해도 오픈AI 직원이 고객 내용에 접근하지 않는다고 설명했다.

고객은 자신이 가진 시스템 기록을 이용해 경고나 조치의 이유를 조사할 수 있다. 정상적인 업무가 잘못 탐지됐다고 판단하면 이의를 제기하거나 맥락을 설명할 수 있다. 실제 악용 조사에 협조할 때도 관련 자료를 오픈AI에 공유할지는 고객이 선택한다는 구조다.

쉽게 비유하면 경비 시스템이 방 안의 대화를 본사에 녹화해 보내는 대신, 현장에서 여러 행동을 분석한 뒤 “특정 유형의 위험 가능성”이라는 경보만 보내는 방식이다. 비유가 기술적 보장을 대신하지는 않지만, 회사가 제시한 목표는 개인정보와 장기 안전 감시를 분리하는 데 있다.

왜 지금 이 문제가 커졌나

기업이 생성형 AI에 맡기는 정보의 민감도가 빠르게 높아지고 있다. 처음에는 공개 자료 요약이나 광고 문구 작성이 많았지만, 이제는 재무 기록, 환자 관련 정보, 계약 초안, 비공개 제품 계획, 자체 연구 자료처럼 외부 유출 시 피해가 큰 정보가 AI를 거친다. 오픈AI도 발표문에서 금융 기록, 건강 데이터, 기밀 사업 계획, 독점 연구를 대표 사례로 들었다.

이런 조직은 데이터가 학습에 쓰이지 않는다는 약속만으로 충분하지 않다. 규제와 내부 보안 정책은 어디에 얼마나 오래 저장되는지, 누가 접근할 수 있는지, 삭제가 가능한지까지 요구한다. 특히 고객과 환자에게 자료를 외부에 남기지 않겠다고 약속한 회사는 AI 제공업체의 안전 검토를 이유로 원문을 장기간 보관하는 조건을 받아들이기 어렵다.

반대편에는 안전 문제가 있다. 성능이 높은 모델은 사이버 공격이나 위험한 연구에 악용될 가능성도 커진다. 제공업체가 모든 내용을 즉시 버리면 여러 차례에 걸쳐 진행되는 악용을 탐지하기 어렵다. 최근 AI 회사들이 고성능 모델의 이용 기록을 얼마나 보관해야 하는지를 두고 다른 정책을 내놓으면서 기업 고객의 선택 기준으로 부상했다.

테크크런치는 이번 발표를 오픈AI와 앤트로픽의 기업 고객 경쟁이라는 맥락에서 보도했다. 앤트로픽은 일부 고성능 모델에 대해 안전 목적으로 대화 내용을 30일 보관하는 정책을 발표한 바 있다. 반면 오픈AI는 장기적인 패턴 탐지와 ZDR을 함께 유지할 수 있다는 방향을 제시했다. 어느 방식이 실제로 더 안전하고 개인정보를 더 잘 보호하는지는 정책 문구만으로 결론 내릴 수 없다. 탐지 정확도, 접근 통제, 고객 감사 가능성, 사고 대응 절차를 함께 비교해야 한다.

일반 사용자보다 기업과 직장인에게 먼저 중요한 소식

개인이 챗GPT에 무엇을 입력해도 자동으로 보관되지 않게 됐다는 발표는 아니다. 일반 사용자는 본인이 쓰는 챗GPT 요금제와 앱의 데이터 제어 메뉴를 따로 확인해야 한다. 이번 기능은 기업이 API로 고성능 모델을 배치할 때의 안전 처리 방식에 초점이 맞춰져 있다.

그렇다고 일반 직장인과 무관한 소식은 아니다. 회사가 어떤 생성형 AI를 허용할지, 기밀 문서를 넣을 수 있는지, 고객 데이터 처리를 승인할지를 결정하는 기준에 직접 영향을 준다. 보안팀이 ZDR을 요구해 고성능 모델 사용을 막았던 조직이라면 새 기능이 실제 계약에 적용될 때 선택지가 늘어날 수 있다.

예를 들어 병원이 환자 상담 기록을 정리하는 AI를 검토한다고 하자. 대화가 AI 제공업체에 남아 사람이 검토할 수 있다면 개인정보 규정과 환자 동의 문제가 커진다. 반면 모든 기록을 즉시 없애면 계정을 탈취한 사람이 여러 차례에 걸쳐 악용하는 징후를 찾기 어렵다. 고객이 통제하는 저장소에서 자동 분석하고 위험 신호만 외부로 보내는 방식이 제대로 구현된다면 두 요구를 조정할 여지가 생긴다.

금융회사도 비슷하다. 고객 거래와 내부 분석 자료를 외부 사업자가 열람할 수 없게 하면서, AI가 이상 행동에 이용되는지 감시해야 한다. 연구소는 비공개 실험 결과를 보호하는 동시에 위험한 사용 정책을 지켜야 한다. 이런 조직에는 모델의 답변 품질만큼 데이터 보관 방식이 구매 결정의 핵심이 된다.

기업이 ‘ZDR’이라는 이름만 보고 계약하면 안 되는 이유

첫째, 적용 범위를 확인해야 한다. 같은 제공업체라도 모델, 기능, 지역, 지원 방식에 따라 보관 정책이 다를 수 있다. 프롬프트와 응답은 보관하지 않더라도 결제·성능 측정·보안 운영을 위한 메타데이터가 남을 수 있다. 어떤 데이터가 고객 콘텐츠에 포함되고 어떤 운영 정보가 예외인지 계약서와 기술 문서에서 확인해야 한다.

둘째, 암호화 키의 통제권을 실제로 검증해야 한다. 회사 발표는 오픈AI 저장소를 쓰는 경우 고객이 키를 통제하고 오픈AI 직원은 사본을 갖지 않는다고 설명한다. 그렇다면 키 생성, 보관, 교체, 폐기, 복구 절차가 어떻게 되는지와 고객 관리자의 권한을 살펴야 한다. 키를 잃었을 때 복구가 불가능한지, 계약 종료 시 데이터와 키가 어떻게 처리되는지도 중요하다.

셋째, 위험 신호의 내용과 오탐 대응을 봐야 한다. ‘제한된 신호’가 구체적으로 어떤 정보를 포함하는지, 고객이 왜 조치됐는지 이해할 수 있는지, 정상적인 보안 연구가 악용으로 오인됐을 때 업무가 얼마나 중단되는지를 확인해야 한다. 원문을 제공업체가 볼 수 없다면 이의 제기 과정에서 고객이 어떤 자료를 선택적으로 공유해야 하는지도 사전에 정해야 한다.

넷째, 사람이 접근하지 않는다는 약속의 감사 방법이 필요하다. 기술 설계, 접근 기록, 외부 인증, 사고 보고 절차가 뒷받침돼야 한다. 발표문과 마케팅 문구는 출발점일 뿐이다. 특히 규제 산업은 9월에 공개될 기술 백서와 계약 조건, 독립 평가를 확인한 뒤 도입 여부를 결정하는 편이 안전하다.

다섯째, ZDR이 회사 내부의 무분별한 사용을 해결해 주지는 않는다. 직원이 권한 없는 고객 정보를 AI에 넣거나, 결과를 잘못된 사람에게 공유하면 제공업체의 보관 기간과 상관없이 사고가 발생한다. 입력 가능한 자료의 등급, 승인된 계정, 결과 검토 책임, 사용 기록 관리 같은 내부 정책이 함께 있어야 한다.

아직 확인되지 않은 점

가장 큰 미확인 사항은 기술 백서가 아직 없다는 점이다. 오픈AI는 9월에 공개하겠다고 예고했지만, 현재 발표만으로는 여러 대화를 연결하면서 원문을 노출하지 않는 구체적 방식과 성능을 외부에서 평가하기 어렵다. 탐지율이 얼마나 되는지, 정상 업무를 위험으로 잘못 판단하는 비율이 어느 정도인지도 공개되지 않았다.

‘관련된 상호작용’을 어떻게 묶는지도 중요하다. 한 사용자의 여러 세션인지, 같은 조직의 여러 계정인지, 어느 기간까지 보는지에 따라 안전성과 개인정보 영향이 달라진다. 너무 좁게 보면 분산된 공격을 놓치고, 너무 넓게 묶으면 무관한 직원의 정상 업무가 하나의 위험 패턴으로 오해될 수 있다.

오픈AI가 받는 제한된 신호의 세부 항목도 앞으로 확인해야 한다. 원문이 아니더라도 계정 식별 정보, 위험 분류, 시간 정보가 결합되면 민감한 운영 정보가 될 수 있다. 보관 기간과 접근 권한, 고객에게 제공되는 감사 기록이 기술 문서에 명확히 적혀야 한다.

또한 현재 일부 초기 고객과 시험하는 단계이므로 모든 자격 있는 API 고객에게 즉시 적용되는 것은 아니다. 9월 출시 계획도 구체적인 국가, 모델, 계약 등급까지 확정된 일정으로 받아들여서는 안 된다. 도입을 준비하는 기업은 계정 담당자와 실제 적용 시점과 조건을 확인해야 한다.

이번 발표가 중요한 이유

AI 업계의 개인정보 경쟁이 ‘학습에 쓰지 않는다’는 약속에서 ‘안전 감시를 위해서도 원문을 보관하지 않을 수 있는가’라는 더 어려운 문제로 이동했다. 모델이 한 번의 질문에 답하는 도구에서 여러 단계를 수행하는 업무 에이전트로 바뀌면, 악용도 여러 대화에 나뉘어 나타날 수 있다. 그 위험을 찾으면서 고객 기밀을 제공업체 직원에게 열지 않는 설계가 기업 AI 확산의 중요한 조건이 됐다.

8월 19일 기준으로 확인된 것은 오픈AI가 해결 방향을 제시했고 일부 고객과 시험 중이라는 사실이다. 실제 성능과 독립 검증은 아직 남아 있다. 다음 확인 시점은 9월이다. 오픈AI가 예고한 기술 백서와 출시 세부 조건에서 데이터 흐름, 암호화 키 관리, 위험 신호, 오탐 처리, 감사 가능성이 얼마나 구체적으로 설명되는지 봐야 한다.

기업 담당자라면 지금 할 일은 제품 이름만 보고 안심하는 것이 아니다. 현재 계약의 데이터 보관 조건을 확인하고, ZDR 적용 범위와 예외를 적어 두며, 9월 문서가 나오면 기존 보안 요구사항과 대조해야 한다. 일반 사용자는 이번 발표를 챗GPT 전체의 개인정보 정책 변경으로 오해하지 말고 본인 서비스의 데이터 설정을 별도로 확인해야 한다.

출처: 오픈AI 공식 발표, 테크크런치 보도