AI 텍스트 워터마킹 대응법: OpenAI textGrain이 알려주는 검출 한계와 제품 설계 체크리스트

OpenAI가 EU AI Act 대응의 일환으로 텍스트 워터마킹 접근법을 공개했다. API 고객은 일부 모델에서 선택적으로 텍스트 워터마킹을 켤 수 있고, EU 지역의 ChatGPT와 Codex 출력에는 앞으로 몇 주에 걸쳐 보이지 않는 워터마크가 들어간다. 검출기 접근은 승인된 연구자와 전문 기관에 제한된다.

제품팀이 여기서 배워야 할 점은 “이제 AI 글을 정확히 잡아낼 수 있다”가 아니다. 오히려 반대다. OpenAI는 textGrain이라는 워터마크 기술을 설명하면서 짧은 글, 수학처럼 표현 자유도가 낮은 글, 편집된 글에서는 검출 신뢰도가 크게 떨어진다고 밝혔다. 따라서 워터마크를 정책·운영·사용자 경험에 넣을 때는 한계를 전제로 설계해야 한다.

textGrain은 무엇을 하는가

textGrain은 모델의 단어 선택에 보이지 않는 통계적 신호를 넣는다. 검출기는 그 신호가 있는지 보고 OpenAI 워터마크가 포함됐을 가능성을 판단한다. 파일 메타데이터처럼 눈에 보이는 표시를 붙이는 방식이 아니라, 생성된 문장의 분포에 신호를 심는 방식이다.

OpenAI는 이 기술을 API에서는 기본값으로 켜지 않고, 고객이 선택적으로 켤 수 있게 한다고 밝혔다. ChatGPT와 Codex의 EU 출력에는 지역 규제 대응 차원에서 적용한다. 이미지와 오디오 검증 도구는 기존처럼 공개 접근을 유지하지만, 텍스트 검출기는 초기에는 승인된 연구자와 전문 기관에 한정한다.

이 차이는 중요하다. 텍스트 워터마킹은 남용될 경우 학생, 작가, 직원에게 잘못된 판정을 내릴 수 있다. 그래서 공개 검출기를 아무나 쓰게 하기보다, 신뢰도와 책임 있는 사용 방식을 먼저 검증하겠다는 선택이다.

검출률 숫자를 제대로 읽어야 한다

OpenAI가 공개한 평가에 따르면 목표 false positive rate 1% 조건에서 200토큰 글은 약 80%, 400토큰 글은 약 95% 수준으로 워터마크를 식별했다. 하지만 이는 이상적인 조건에 가깝다. 내용 분야에 따라 차이가 크고, 수학처럼 표현 선택지가 좁은 글에서는 검출률이 낮아졌다.

편집의 영향은 더 크다. 400토큰 글에서 단어 10%를 동의어로 바꾸면 검출률이 약 92%에서 66%로 떨어졌다. 25%를 바꾸면 17%까지 내려갔다. 즉 사람이 조금 고치거나 번역·요약·재작성 과정을 거치면 워터마크 신호는 쉽게 약해질 수 있다.

제품에서 이 숫자를 잘못 쓰면 위험하다. “검출됨”은 OpenAI 시스템이 생성 또는 처리했을 가능성을 말할 뿐이고, “검출 안 됨”은 사람이 썼다는 증거가 아니다. 너무 짧거나 많이 편집됐거나 지원하지 않는 모델에서 나온 글일 수 있다.

워터마크가 말해주지 않는 것

OpenAI도 명확히 적었다. 워터마크는 인간 기여도를 측정하지 않는다. 어떤 사람이 글을 얼마나 고쳤는지, 창의적 판단을 얼마나 했는지 알 수 없다. 소유권이나 책임도 판단하지 않는다. 글이 합법적으로 쓰였는지, 공개 의무가 있었는지, 누가 책임져야 하는지는 별도 문제다.

사용자 식별도 하지 않는다. 워터마크가 있다고 해서 어떤 계정, 사람, 프롬프트, 대화에서 나왔는지 알 수 없다. 정확성도 검증하지 않는다. 워터마크가 있는 글이 사실이라는 뜻도 아니고, 워터마크가 없는 글이 신뢰할 수 있다는 뜻도 아니다.

따라서 검출 결과를 징계, 계정 정지, 콘텐츠 삭제 같은 강한 조치의 단독 근거로 쓰면 안 된다. 최소한 추가 증거, 사람 검토, 이의제기 절차가 있어야 한다.

API 제품에서 어떻게 설계할까

생성형 AI 기능을 제공하는 SaaS라면 워터마킹 옵션을 고객 설정으로 노출할지 검토해야 한다. 예를 들어 교육, 공공, 법무, 언론 보조 도구는 생성 텍스트의 출처 표시 의무가 있을 수 있다. 반대로 내부 초안 도구에서는 워터마크가 꼭 필요하지 않을 수 있다.

설정은 단순 토글보다 정책 단위가 낫다. 조직 관리자가 워터마킹 기본값을 정하고, 특정 워크스페이스나 프로젝트에 다르게 적용하며, 내보내기 시 출처 안내 문구를 붙일 수 있어야 한다. API 로그에는 워터마킹 적용 여부, 모델, 출력 길이, 지역 정책을 남긴다.

검출 기능을 제공한다면 결과를 확률과 한계 설명으로 표시해야 한다. “AI 작성 확정” 같은 문구는 피한다. “OpenAI 워터마크 신호가 감지됨”, “짧거나 편집된 텍스트에서는 누락될 수 있음”, “사람 검토 없이 제재 근거로 사용하지 말 것”처럼 제한을 같이 보여줘야 한다.

콘텐츠 플랫폼의 운영 기준

커뮤니티, 채용, 교육, 문서 플랫폼은 워터마크를 콘텐츠 모더레이션 신호 중 하나로만 사용해야 한다. 스팸 패턴, 계정 행동, 반복 게시, 출처 은폐, 신고 이력, 문맥 검토와 함께 봐야 한다.

특히 false positive rate 1%라는 숫자는 작아 보여도 대규모 플랫폼에서는 크다. 하루 100만 건을 검사하면 이상적 조건에서도 1만 건이 오탐 후보가 될 수 있다. 여기에 짧은 글과 편집본의 불확실성이 더해진다. 자동 삭제나 자동 불합격은 위험하다.

운영 정책은 단계형이 좋다. 낮은 신뢰도는 내부 신호로만 쓰고, 중간 신뢰도는 추가 검토 큐로 보내며, 높은 신뢰도라도 바로 제재하지 않고 사용자 설명과 이의제기를 허용한다.

한국 서비스가 먼저 준비할 문구

국내 서비스라도 EU 사용자를 받거나 글로벌 API를 제공한다면 provenance 문구를 미리 준비하는 편이 좋다. 예를 들어 “이 문서는 AI 도구의 도움을 받아 생성되었을 수 있습니다”, “검출 결과는 참고 신호이며 작성자 책임과 사실 여부를 판단하지 않습니다” 같은 문구가 필요하다.

고객사가 자체 약관에 맞게 문구를 바꿀 수 있도록 관리자 설정을 제공하는 것도 좋다. 교육기관, 기업 내부 문서, 마케팅 자동화 도구는 요구하는 표현이 다르다. 서비스가 하나의 고정 문구만 제공하면 실제 도입에서 막힐 수 있다.

또한 워터마킹을 켠 출력과 끈 출력을 섞어 저장할 때는 검색과 내보내기에서 구분할 수 있어야 한다. 나중에 규제 대응이나 고객 감사가 들어왔을 때, 어떤 문서가 어떤 설정으로 만들어졌는지 확인하지 못하면 기능을 켜둔 의미가 줄어든다.

실행 체크리스트

• 워터마크를 켜야 하는 지역, 고객군, 콘텐츠 유형을 분리한다.
• API 로그에 워터마킹 적용 여부와 모델 정보를 남긴다.
• 검출 결과를 확정 판정이 아니라 제한 있는 신호로 표시한다.
• 짧은 글, 편집 글, 번역 글의 검출 한계를 UI에 설명한다.
• 자동 제재의 단독 근거로 쓰지 않는다.
• 사람 검토와 이의제기 절차를 둔다.
• 콘텐츠 출처 표시가 필요한 고객에게 내보내기 문구와 감사 로그를 제공한다.

텍스트 워터마킹은 유용한 투명성 도구가 될 수 있다. 하지만 만능 판별기는 아니다. 제품 설계자는 “AI인지 아닌지 맞히는 기능”이 아니라 “출처 신호를 책임 있게 다루는 운영 시스템”으로 접근해야 한다.