오픈AI·메타가 법원에 ‘딥페이크 증거’ 위험을 경고했다…영상이 있어도 못 믿는 시대의 재판
오픈AI와 메타가 10월 15일 미국 사법부에 인공지능으로 만든 가짜 사진·영상·음성이 재판 증거의 신뢰를 흔들 수 있다고 경고했다. 로이터 보도에 따르면 두 회사는 미국 연방법원의 증거 규칙을 다루는 절차에서 딥페이크 증거 위험에 관한 의견을 냈다. AI 기업이 자사 기술로 생긴 문제를 지적했다는 사실보다 더 중요한 것은, 이제 법원이 “영상이 있으니 사실”이라는 오래된 직관만으로 판단하기 어려워졌다는 점이다.
딥페이크는 실제 사람의 얼굴이나 목소리를 정교하게 합성하거나, 없던 장면을 진짜 촬영물처럼 만드는 기술과 결과물을 가리킨다. 하지만 재판의 문제는 완전히 가짜인 영상에만 있지 않다. 진짜 영상의 일부를 바꾸거나, 실제 음성에 한 문장을 덧붙이거나, 생성형 AI로 화질을 개선하는 과정에서 내용이 달라질 수도 있다. 반대로 진짜 증거를 제출받은 쪽이 “AI로 만든 것일 수 있다”고 주장해 믿음을 떨어뜨리는 일도 가능하다. 이를 흔히 ‘거짓말쟁이의 배당’이라고 부른다. 가짜가 많아질수록 진짜까지 부정하기 쉬워진다는 뜻이다.
이번 움직임이 일반인에게 먼 법률 뉴스가 아닌 이유는 사진과 녹음이 교통사고, 직장 내 괴롭힘, 학교폭력, 보험 분쟁, 이혼과 양육권 다툼, 온라인 사기처럼 일상적인 사건의 증거로 쓰이기 때문이다. 생성형 AI가 증거의 제작 비용을 낮추면서, 증거가 어디서 왔고 원본이 어떻게 보관됐는지를 설명하는 일이 영상 자체만큼 중요해졌다.
무슨 일이 있었나
로이터는 오픈AI와 메타가 미국 사법 규칙을 논의하는 기구에 딥페이크가 증거의 진위를 판단하는 일을 어렵게 만들 수 있다는 취지의 의견을 냈다고 보도했다. 미국 사법부는 이미 AI가 생성하거나 변형한 자료를 법정에서 어떻게 다룰지 논의해 왔다. 관련 공개 자료에는 AI가 만든 증거를 다루는 연방증거규칙 초안과, 진위 확인 및 전문가 증언에 관한 쟁점이 포함돼 있다.
여기서 반드시 구분할 점이 있다. 기업의 의견 제출은 새 법이 확정됐다는 뜻이 아니다. 미국 법원이 모든 AI 관련 사진이나 영상을 금지한 것도 아니다. 규칙 제정 과정에서는 판사, 변호사, 학계, 기업, 시민단체 등이 의견을 내고 초안이 수정될 수 있다. 최종 규칙의 문구와 시행 시점은 별도 절차를 거쳐야 한다. 따라서 이번 뉴스의 정확한 의미는 ‘딥페이크 증거 문제가 공식적인 사법 규칙 논의의 한복판에 들어왔다’는 것이다.
오픈AI와 메타의 이해관계도 함께 봐야 한다. 두 회사는 생성형 AI 기술을 개발하고, AI로 만든 콘텐츠를 표시하거나 탐지하는 기술에도 관여한다. 위험을 잘 아는 기술 제공자의 전문 의견은 유용하지만, 그 자체가 중립적인 결론은 아니다. 어떤 표시 기술을 표준으로 삼을지, 플랫폼이 어떤 정보를 보관하고 법원에 제공할지에 따라 기업의 책임과 비용이 달라질 수 있기 때문이다.
왜 기존의 ‘원본 확인’만으로 부족해졌나
디지털 증거도 과거부터 조작 가능했다. 사진 편집과 음성 합성은 AI 이전에도 있었다. 달라진 것은 속도와 접근성, 품질이다. 이제 전문 스튜디오가 없어도 짧은 음성 샘플이나 사진 몇 장으로 그럴듯한 결과물을 만들 수 있다. 조작 흔적을 찾아내는 탐지 도구와 생성 기술이 함께 발전하면서, 눈으로 보고 귀로 듣는 것만으로는 판별하기 어려운 경우가 늘어난다.
법원은 보통 증거가 주장하는 바로 그 물건인지 확인하는 ‘진정성’ 절차를 거친다. 사진을 찍은 사람의 증언, 파일 생성 기록, 전달 경로, 기기의 정보, 전문가 분석 등이 사용될 수 있다. AI 시대에는 이 과정이 더 촘촘해져야 한다. 예를 들어 메신저로 전달된 짧은 영상 파일만 있는 것과, 촬영 기기의 원본 파일·저장 시각·위치 정보·전송 기록까지 있는 것은 증거의 무게가 다르다.
하지만 기술 정보도 만능은 아니다. 파일의 부가정보는 복사나 편집 과정에서 사라질 수 있고, 조작될 수도 있다. 오래된 휴대전화나 폐쇄회로 카메라는 충분한 기록을 남기지 않는다. 피해자가 급히 화면을 녹화해 보관한 자료처럼 원본 기기 접근이 어려운 경우도 있다. 너무 엄격한 기준을 일률적으로 적용하면 실제 피해를 보여 주는 자료까지 배제될 수 있다. 법원 규칙은 가짜를 막는 동시에 정당한 증거 제출의 문턱을 과도하게 높이지 않아야 한다.
진짜 증거를 ‘AI 가짜’라고 우기는 문제
딥페이크 논쟁에서 놓치기 쉬운 위험은 가짜 영상이 들어오는 것뿐 아니라 진짜 영상이 의심받는 것이다. 누군가에게 불리한 녹음이 공개됐을 때 구체적인 근거 없이 “요즘 AI로 다 만들 수 있다”고 주장하면, 일반 대중은 판단을 미룰 수 있다. 재판에서도 이런 주장이 반복되면 증거를 낸 쪽이 매번 높은 비용의 감정을 받아야 할 수 있다.
따라서 단순한 의혹만으로 증거를 배제할 것인지, 조작 가능성을 주장하는 쪽이 어느 정도 근거를 제시해야 하는지가 중요하다. 모든 디지털 파일을 처음부터 가짜로 취급하면 재판 비용과 시간이 크게 늘어난다. 반대로 “조작됐다는 확실한 증거가 없으니 진짜”라고만 하면 정교한 합성물을 놓칠 수 있다. 새 규칙은 두 위험 사이의 부담을 어떻게 나눌지 정해야 한다.
일반 이용자에게도 교훈이 있다. 중요한 사건을 기록했다면 편집본만 남기지 말고 가능한 한 원본 파일을 보관하는 편이 좋다. 메신저로 재전송하면 압축되거나 부가정보가 사라질 수 있으므로 원본 기기와 클라우드 백업을 유지하고, 언제 어디서 촬영했는지 메모하는 것이 도움이 된다. 이는 법률 자문이 아니라 증거의 생성과 보관 경로를 남기라는 기본 원칙이다. 실제 분쟁에서는 관할 지역의 변호사나 수사기관 안내를 따라야 한다.
AI 탐지기는 왜 단독 판정기가 될 수 없나
“딥페이크 탐지기를 돌려 몇 퍼센트가 나오면 해결되지 않나”라는 질문이 자연스럽다. 그러나 탐지 모델은 특정 생성 도구와 압축 방식에서 잘 작동하다가 새로운 모델이나 여러 번 편집된 파일에서는 성능이 떨어질 수 있다. 소셜미디어가 영상을 다시 압축하면 단서가 사라질 수도 있다. 탐지 결과가 90%라고 표시돼도 그것이 법적으로 90% 가짜라는 의미는 아니다. 어떤 자료로 학습했고 어떤 오류율을 보이는지, 사건의 파일과 조건이 시험 환경과 얼마나 비슷한지 따져야 한다.
콘텐츠 출처를 기록하는 기술도 주목받는다. 촬영 시점부터 파일에 서명된 정보를 붙여 어느 기기에서 만들어졌고 어떤 편집을 거쳤는지 확인하는 방식이다. 이런 ‘콘텐츠 자격 정보’는 출처를 설명하는 데 유용하지만, 표시가 없다고 가짜라는 뜻은 아니다. 모든 카메라와 편집 앱이 같은 표준을 쓰지 않으며, 오래된 자료에는 표시가 없다. 또한 자격 정보가 붙은 진짜 파일도 문맥을 속일 수 있다. 다른 날짜의 영상을 이번 사건 영상처럼 소개하는 경우가 대표적이다.
결국 법원은 하나의 탐지 점수보다 여러 증거를 함께 봐야 한다. 원본 파일, 촬영자 증언, 기기 기록, 주변인의 자료, 위치와 시간, 파일 전달 경로, 전문가 분석이 서로 일치하는지를 확인하는 방식이다. AI는 이 검토를 도울 수 있지만 최종 진위 판정을 자동으로 대신하기 어렵다.
일상과 기업에 무엇이 달라지나
개인은 중요한 사진·영상·녹음을 보관하는 습관을 바꿀 필요가 있다. 원본을 자르거나 자막을 넣기 전에 복사본을 만들고, 원본 파일의 생성 시각과 저장 위치를 유지하는 것이 좋다. 여러 사람이 같은 사건을 촬영했다면 각자의 파일이 서로를 보강할 수 있다. 반대로 온라인에서 받은 영상만 보고 범죄나 비리를 단정해 공유하면 명예훼손과 2차 피해를 만들 수 있다.
기업은 보안 카메라, 고객 통화, 온라인 회의처럼 분쟁 가능성이 있는 기록의 보관 정책을 점검해야 한다. 파일을 누가 열고 복사했는지 기록하는 접근 로그, 보관 기간, 원본과 편집본의 구분이 중요해진다. 그렇다고 모든 직원 대화를 무기한 저장하는 것은 개인정보 침해가 될 수 있다. 증거 신뢰성과 개인정보 최소 수집 사이의 균형이 필요하다.
언론과 플랫폼도 영향을 받는다. 속보 경쟁 속에서 영상 진위를 충분히 확인하지 않으면 법정 다툼에 사용될 잘못된 정보가 퍼질 수 있다. 원출처, 최초 게시 시점, 촬영 장소를 확인하고 ‘확인되지 않은 영상’이라는 상태를 명확히 표시해야 한다. 플랫폼의 AI 라벨은 참고 신호일 뿐, 사실 확인을 대신하지 않는다.
기업 주장을 그대로 받아들여선 안 되는 이유
오픈AI와 메타가 위험을 경고한 것은 의미가 있지만, 이 회사들은 동시에 합성 콘텐츠를 더 쉽게 만드는 기술을 제공한다. 따라서 경고 문구만이 아니라 제품 설계와 대응 체계를 봐야 한다. 생성물 표시가 기본으로 적용되는지, 표시 제거가 얼마나 쉬운지, 악용 신고에 얼마나 빨리 대응하는지, 법원의 적법한 요청에 어떤 기록을 제공할 수 있는지가 중요하다.
또 기업이 제안하는 기술 표준이 시장 지배력을 강화할 가능성도 살펴야 한다. 대형 플랫폼의 인증 도구만 법원이 신뢰한다면 작은 제작 도구나 독립 언론, 일반 이용자의 자료가 불리해질 수 있다. 표준은 공개적으로 검증되고 여러 회사와 공공기관이 함께 운용할 수 있어야 한다. 탐지 기술의 오류율과 한계도 공개돼야 한다.
앞으로 볼 변화
첫 번째 관전 지점은 미국 사법부가 AI 생성 증거에 관한 규칙 초안을 어떻게 고치는지다. 누가 진위 입증 부담을 지는지, 전문가 감정이 언제 필요한지, 단순한 조작 의혹만으로 추가 심리를 열 수 있는지가 핵심이다. 두 번째는 기술 기업의 의견과 판사·변호사·시민단체 의견이 어떻게 조정되는지다. 피해자의 증거 접근권과 피고인의 방어권을 모두 지켜야 하기 때문이다.
세 번째는 법원 밖의 표준화다. 카메라와 편집 앱이 출처 정보를 남기고, 플랫폼이 이를 보존하며, 언론과 수사기관이 같은 정보를 읽을 수 있어야 효과가 있다. 한 회사의 라벨만으로는 충분하지 않다. 국제적으로 호환되는 출처 기록과 독립적인 검증 절차가 필요하다.
이번 소식을 “앞으로 영상은 아무것도 믿을 수 없다”는 결론으로 받아들일 필요는 없다. 정확한 결론은 반대다. 영상 한 개만 믿는 시대에서, 영상이 만들어지고 보관되고 전달된 과정까지 함께 확인하는 시대로 이동하고 있다. 법원의 새 규칙은 그 확인 절차를 공정하고 감당 가능한 수준으로 만드는 일이다. 최종 규칙이 확정되기 전까지는 기업의 경고와 초안을 확정된 법처럼 소개하지 않는 것도 중요하다.
핵심 정리
오픈AI와 메타의 10월 15일 의견 제출은 딥페이크가 온라인 허위정보를 넘어 재판의 증거 기준을 바꾸는 문제로 커졌음을 보여 준다. 일반인에게 가장 실용적인 변화는 ‘파일이 있다’보다 ‘원본과 생성 경로가 남아 있다’가 중요해진다는 것이다. 다만 AI 탐지 점수나 기업 라벨 하나로 진위를 확정할 수 없고, 진짜 증거를 가짜라고 우기는 위험도 함께 막아야 한다. 다음 확인 시점은 미국 사법부가 공개 의견을 반영한 규칙 문구와 시행 일정을 내놓을 때다.