왓츠앱이 대화 속 사기를 AI로 경고한다…메타가 메시지를 읽는 것은 아닐까

왓츠앱이 대화 속 사기 징후를 휴대전화 안에서 찾아 경고하는 ‘스캠 얼럿’을 제한적으로 시험하고 있다. 사용자가 직접 켜야 작동하며, 연락처에 저장되지 않은 사람이 보낸 메시지를 기기 안의 작은 AI 모델이 분석한다. 사기로 의심되면 상대방에게 보이지 않는 경고를 띄우고, 사용자는 차단·신고·계속 대화 중 하나를 고를 수 있다.

가장 민감한 질문은 “왓츠앱이나 메타가 암호화된 대화를 읽는 것 아닌가”다. 메타가 공개한 설계에 따르면 분류를 위한 메시지 내용은 휴대전화 밖으로 나가지 않고, 경고가 떴다는 사실도 자동으로 서버에 신고되지 않는다. 다만 기능의 정확도를 측정하기 위해 경고 횟수와 사용자가 취한 행동의 집계값을 개인정보 보호 처리를 거쳐 수집한다. ‘아무 정보도 전송하지 않는다’고 단순화하면 정확하지 않은 이유다.

무슨 일이 있었나

메타는 8월 12일 공식 엔지니어링 블로그에서 스캠 얼럿의 초기 설계와 제한적 베타 시험을 공개했다. 이후 8월 20일 ABC7 보도를 통해 일반 이용자를 대상으로 기능과 개인정보 보호 방식이 다시 주목받았다.

기능은 기본으로 강제 적용되지 않는다. 사용자가 선택해 켜면 AI 모델이 휴대전화에 내려받아지고, 연락처에 없는 사람이 보낸 새 메시지가 알려진 사기 패턴과 닮았는지 판별한다. 모델은 이용자들이 과거 왓츠앱에 신고한 사기 대화에서 발견한 패턴을 학습했다. 대화 구조와 표현 방식을 바탕으로 확률적으로 판단하기 때문에 법원 판결처럼 사기를 확정하는 장치가 아니라 위험 신호를 한 번 더 보여주는 보조 기능이다.

경고는 대화방 안에서 사용자에게만 보인다. 경고를 받은 사람은 상대를 차단하거나 신고할 수 있고, 위험이 아니라고 판단하면 대화를 계속할 수 있다. 정상 대화를 잘못 표시한 경우 ‘신뢰하는 대화’로 지정하면 경고가 사라지고 같은 대화를 다시 표시하지 않는다.

현재는 모든 왓츠앱 이용자에게 정식 출시된 기능이 아니다. 메타는 제한된 베타 단계라고 명시했고 전체 출시 날짜와 지원 국가, 지원 운영체제의 상세 목록을 공개하지 않았다. 따라서 앱 설정에서 기능이 보이지 않는다고 오류가 난 것은 아니다.

왜 메시지를 서버로 보내지 않나

왓츠앱의 핵심 약속은 종단간 암호화다. 메시지를 보낸 사람과 받는 사람의 기기만 내용을 읽을 수 있고, 전송 중간에 있는 왓츠앱도 평문을 보지 못하게 설계된다. 사기를 잡겠다는 이유로 모든 메시지를 중앙 서버에 보내 분석하면 이 약속과 충돌한다.

스캠 얼럿은 분석할 AI 모델을 사용자 휴대전화로 내려보내는 방식을 택했다. 흔히 ‘온디바이스 AI’라고 부르는 구조다. 사진을 외부 인화소로 보내지 않고 집 안에서 확인하는 것과 비슷하다. 메시지와 모델이 같은 기기 안에서 만나고, 분류 결과도 기기 안에 남는다.

메타는 다음 세 가지 원칙을 내세웠다.

• 모델과 분석할 메시지는 기기 안에 머문다.
• 사용자가 직접 신고하지 않는 한 메시지 내용이나 탐지 사실을 자동으로 전송하지 않는다.
• 기능은 선택 사항이며 언제든 켜고 끌 수 있다.

이 설계는 개인정보 보호에 유리하지만 만능은 아니다. 휴대전화의 운영체제나 앱 자체가 악성코드에 감염돼 있다면 별도의 보안 문제가 생길 수 있다. 화면 알림을 본 사용자가 경고를 무시하고 돈을 보내면 AI가 막을 수도 없다. 또 기기 안에서 처리한다고 해서 모델의 오판이 사라지는 것도 아니다.

실제로 어떤 사기를 찾을 수 있나

메타는 모델이 대화의 구조와 언어적 신호를 본다고 설명했다. 구체적인 탐지 규칙 전체를 공개하면 사기범이 문장을 조금 바꿔 피할 수 있으므로, 일반 이용자가 볼 수 있는 것은 ‘알려진 사기 대화와 닮았는가’라는 수준이다.

현실의 메신저 사기는 한 문장으로 끝나지 않는 경우가 많다. 모르는 번호가 친근하게 말을 걸고, 잘못 연락한 척하다가 관계를 만든 뒤 투자나 송금을 권할 수 있다. 가족이나 회사 상사를 사칭해 급하게 돈을 보내라고 요구할 수도 있다. 가짜 고객센터가 인증번호나 계정 정보를 물어보는 경우도 있다. 이런 사기의 공통점은 맥락과 순서에 있다.

기존 필터는 특정 링크나 금지 단어를 찾는 데 강하지만, 사기범이 표현을 바꾸면 놓치기 쉽다. AI 분류는 여러 메시지의 흐름과 표현을 함께 살펴볼 수 있다는 장점이 있다. 반대로 친구가 농담으로 투자 이야기를 하거나, 처음 연락한 정상 판매자가 결제를 안내해도 위험하게 볼 수 있다. 확률적 판별이므로 정상 메시지를 사기로 잘못 표시하는 ‘오탐’과 실제 사기를 놓치는 ‘미탐’이 모두 발생할 수 있다.

그래서 스캠 얼럿은 메시지를 자동 삭제하거나 계정을 즉시 차단하지 않는다. 경고 뒤의 최종 결정은 사용자가 한다. 이는 불편을 줄이고 잘못된 차단 피해를 막는 장치이지만, 경고를 이해하기 어려운 이용자나 사기범에게 이미 심리적으로 설득된 이용자에게는 충분하지 않을 수 있다.

‘메타는 아무 데이터도 받지 않는다’는 말의 한계

분류할 메시지 내용은 기기 밖으로 나가지 않는다는 것이 공식 설명이다. 경고가 울렸다는 사실도 대화 단위로 자동 신고되지 않는다. 사용자가 상대를 직접 신고하면 그때는 기존 왓츠앱 신고 절차와 마찬가지로 관련 메시지를 공유할 수 있다.

그러나 서비스가 제대로 작동하는지 알려면 어느 정도 측정이 필요하다. 메타는 크게 두 종류의 집계값을 수집한다고 밝혔다. 하나는 경고가 몇 번 표시됐는지, 다른 하나는 경고 뒤 사용자가 신뢰·차단·신고 중 어떤 행동을 했는지다. 이는 모델이 지나치게 자주 울리거나 실제 사기를 놓치는지 평가하는 데 쓰인다.

회사는 원시 메시지나 개인별 기록 대신 휴대전화에서 먼저 합친 횟수만 보낸다고 설명한다. 전송 시점을 무작위로 정하고 기기 식별자를 넣지 않으며, 여러 이용자의 결과를 충분히 큰 묶음으로 합친 뒤 통계적 노이즈를 더한다. 쉽게 말해 전체 경향은 볼 수 있지만 한 사람의 행동을 거꾸로 찾아가기 어렵게 만드는 방식이다.

집계 과정은 ‘신뢰 실행 환경’이라는 격리된 컴퓨팅 공간에서 처리되고, 메타나 왓츠앱 직원도 개인별 값을 읽을 수 없도록 설계했다고 밝혔다. 휴대전화는 서버가 공개된 규칙대로 작동하는지 확인하고 조건이 맞지 않으면 데이터를 보내지 않도록 했다. 네트워크 주소를 감추는 중계 방식도 사용한다.

이 설명은 “메시지 전체를 메타가 스캔한다”는 주장과 다르다. 동시에 “휴대전화에서 어떤 정보도 절대 나가지 않는다”는 설명과도 다르다. 정확한 표현은 메시지 내용은 분류 목적으로 전송하지 않고, 기능 측정을 위한 익명화·집계된 횟수 정보는 보호된 절차로 전송한다는 것이다.

특정 사람만 몰래 검사할 수 있나

기기 안에서 AI가 메시지를 분석해도, 운영자가 특정 이용자에게만 다른 모델을 보낸다면 감시 도구로 악용될 가능성을 걱정할 수 있다. 메타는 이를 막기 위해 모든 모델 버전을 공개 투명성 장부에 먼저 기록하고, 특정 사람에게만 특정 모델을 보내지 못하도록 설계했다고 밝혔다.

각 휴대전화가 서버 지시가 아니라 기기에서 만든 무작위 값으로 실험 그룹을 고르고, 실험용 모델도 배포 전에 같은 공개 장부에 올린다. 외부 연구자는 모델 파일과 공개 기록을 비교해 실제 배포본이 등록된 것인지 확인할 수 있다. 메타는 모델의 가중치도 연구자에게 제공해 사기 탐지 외의 목적으로 만들어졌는지 검증하도록 하겠다고 설명했다.

사용자에게도 확인 수단을 제공할 계획이다. 공식 문서에 따르면 투명성 로그를 켜면 계정 정보 요청 메뉴의 스캠 얼럿 활동에서 어떤 메시지가 분석됐고, 결과가 무엇이었으며, 어떤 모델 버전이 사용됐는지 볼 수 있다. 제한적 베타이므로 실제 메뉴 구성은 정식 출시 과정에서 달라질 수 있다.

또 메타는 버그 바운티, 즉 보안 취약점을 제보한 연구자에게 보상하는 프로그램의 범위를 모델까지 넓히겠다고 밝혔다. 연구자들이 다양한 문장을 넣어 목적과 다른 행동을 하는지, 사기범이 쉽게 회피할 수 있는지 시험할 수 있게 한다는 계획이다. 이 장치는 회사의 주장만 믿으라는 것보다 진전된 접근이지만, 실제 독립 검증 결과가 쌓이기 전까지는 설계 문서 단계의 약속이기도 하다.

일반 이용자가 체감할 변화

기능이 정식 배포되면 가장 큰 변화는 모르는 번호와의 첫 대화에서 한 번 더 멈출 기회가 생긴다는 것이다. 특히 가족 사칭, 가짜 채용, 로맨스 사기, 고수익 투자 권유처럼 대화가 길어질수록 판단이 흐려지는 사기에 도움이 될 수 있다. 링크를 누르기 전이나 돈을 보내기 전에 경고가 보이면 피해를 줄일 가능성이 있다.

고령자나 디지털 서비스에 익숙하지 않은 사람에게는 경고 문구가 얼마나 쉬운지가 중요하다. 단순히 “위험 확률 82%”처럼 표시하기보다 왜 조심해야 하는지, 송금과 인증번호 공유를 중단해야 하는지 분명히 알려줘야 한다. 한국어를 포함한 각 언어와 지역별 사기 표현을 얼마나 잘 이해하는지도 성능을 좌우한다.

직장인에게는 거래처나 채용 지원자처럼 연락처에 저장되지 않은 정상 상대가 많다는 문제가 있다. 경고가 너무 자주 뜨면 이용자가 습관적으로 무시하는 ‘경고 피로’가 생긴다. 메타가 경고 횟수와 이후 행동의 집계를 측정하려는 이유도 정확도뿐 아니라 이런 사용성 문제를 파악하기 위해서다.

기업 고객센터와 소상공인은 정상적인 결제 안내가 사기로 오인될 가능성을 걱정할 수 있다. 공식 계정 인증, 결제 링크의 출처 표시, 신고 이의 제기 절차가 함께 작동해야 한다. AI 경고 하나만으로 상대방의 계정을 사기 계정으로 확정하거나 공개적으로 비난해서는 안 된다.

이 기능이 막지 못하는 것

스캠 얼럿은 연락처에 없는 사람의 메시지에서 알려진 패턴을 찾는다. 이미 연락처에 저장된 지인의 계정이 탈취되거나, 사기범이 전화·영상통화·다른 앱으로 대화를 옮기면 탐지 범위가 달라질 수 있다. 사용자가 직접 입력한 인증번호나 은행 송금까지 자동으로 막는 기능도 아니다.

사기범은 모델의 경고를 피하기 위해 문장을 나누거나 이미지·음성으로 정보를 보내고, 처음에는 평범한 대화를 오래 이어갈 수 있다. AI가 발전하면 공격자도 AI를 사용해 더 자연스럽고 개인화된 메시지를 만든다. 메타 역시 사기 전술이 계속 바뀌므로 모델을 개선해야 한다고 인정했다.

또 모델이 기기에서 돌아가려면 저장 공간, 배터리, 처리 성능을 사용한다. 메타는 최근 기술 발전으로 작은 모델을 실용적으로 돌릴 수 있다고 설명하지만, 오래된 저가형 휴대전화에서의 지원 범위와 실제 자원 사용량은 공개된 일반 설명만으로 알 수 없다. 모든 이용자에게 같은 시점에 제공되지 않을 가능성도 크다.

가장 중요한 한계는 AI 경고가 금융기관이나 수사기관의 확인을 대신하지 않는다는 점이다. 사기로 의심되는 송금 요구를 받으면 메시지 속 번호가 아니라 기존에 알고 있던 공식 연락처로 당사자와 기관을 다시 확인해야 한다. 이 원칙은 특정 앱에만 해당하는 일반 체크리스트가 아니라, 경고가 보여도 최종 피해를 막는 데 필요한 실제 절차다.

아직 확인되지 않은 점

첫째, 전체 출시 시점과 국가별 제공 범위가 발표되지 않았다. 둘째, 안드로이드와 아이폰에서 같은 기능과 투명성 로그가 동시에 제공되는지 확인되지 않았다. 셋째, 모델의 실제 오탐률과 미탐률을 보여주는 독립적인 대규모 평가 결과가 아직 없다.

넷째, 한국어와 지역별 사기 유형에서 얼마나 잘 작동하는지 공개 자료로 판단할 수 없다. 사기 표현은 언어뿐 아니라 결제 문화와 기관 이름에 따라 크게 달라진다. 다섯째, 집계 통계와 투명성 장부를 외부 연구자가 실제로 얼마나 쉽게 검증할 수 있는지는 베타 운영 과정에서 확인해야 한다.

공식 문서는 보안 구조를 상세히 설명하지만, 상세함 자체가 무결성을 자동 보장하지는 않는다. 앱 업데이트 뒤에도 같은 원칙이 유지되는지, 발견된 취약점이 얼마나 빨리 수정되는지, 연구자가 재현 가능한 방식으로 검증할 수 있는지가 중요하다.

실제로 달라지는 점

스캠 얼럿의 의미는 “AI가 모든 사기를 해결한다”는 데 있지 않다. 암호화된 메신저가 메시지 내용을 중앙 서버에 모으지 않고도 기기 안에서 위험 신호를 찾을 수 있다는 설계를 대규모 서비스가 시험한다는 데 있다. 성공하면 사기 방지와 대화 프라이버시 중 하나를 반드시 포기해야 한다는 오래된 선택지를 줄일 수 있다.

현재 기억할 사실은 명확하다. 기능은 선택 사항이고 제한적 베타다. 분석은 연락처에 없는 사람의 메시지를 대상으로 기기 안에서 이뤄지며, 사용자가 신고하지 않는 한 메시지 내용은 자동 전송되지 않는다. 대신 경고와 사용자 행동의 익명화된 집계는 성능 측정을 위해 처리된다. 정식 출시를 판단할 다음 기준은 광고 문구가 아니라 지원 국가·기기, 독립 연구자의 검증 결과, 실제 오탐률과 사기 피해 감소 자료다.