문샷AI, 새 키미의 해킹 능력을 일부러 낮췄다…공개형 AI 안전의 시험대
중국 AI 기업 문샷AI가 2026년 10월 24일 새 모델 ‘키미 K3.1 프로’를 공개하면서, 공개형 모델의 해킹 능력을 의도적으로 제한했다고 로이터가 보도했다. 일반 업무와 코딩 성능 경쟁에서는 더 강한 모델을 내놓으면서도 사이버 공격에 직접 쓸 수 있는 일부 능력은 낮춰 배포했다는 내용이다. AI 모델 경쟁이 단순히 “가장 똑똑한 모델”을 만드는 단계에서 “어떤 능력을 누구에게 어느 수준까지 공개할 것인가”를 결정하는 단계로 넘어갔다는 신호다.
문샷AI는 키미 서비스를 만드는 중국 기업이다. 회사 홈페이지는 기존 키미 K3를 장문 작업, 지식 업무, 코딩과 추론을 처리하는 주력 모델로 소개하고 있다. 이번 보도의 K3.1 프로는 그 후속 계열로 알려졌다. 다만 로이터가 보도한 해킹 능력 제한의 정확한 구현 방식과 모든 평가 결과가 일반 이용자에게 완전히 공개된 것은 아니다. 기업 발표와 외부 검증을 구분해 읽어야 한다.
이번 소식이 중요한 이유는 AI의 사이버 능력이 양면적이기 때문이다. 같은 모델이 취약한 프로그램을 찾아 고치는 데 도움을 줄 수도 있고, 공격자가 침입 경로를 찾고 악성 작업을 자동화하는 데 쓰일 수도 있다. 문샷의 선택은 모델을 통째로 닫지 않으면서 위험도가 높은 능력만 줄이려는 시도지만, 공개형 모델에서는 안전 제한이 얼마나 오래 유지되는지라는 새로운 질문도 남긴다.
‘해킹 능력을 낮췄다’는 말의 뜻
이 표현은 모델이 코드를 전혀 쓰지 못하거나 보안 질문을 모두 거부한다는 뜻은 아니다. 사이버 보안 작업에는 안전한 영역과 위험한 영역이 이어져 있다. 회사 시스템의 취약점을 찾아 패치하는 일, 의심스러운 이메일을 분석하는 일, 보안 교육용 예시를 설명하는 일은 방어에 도움이 된다. 반면 실제 서비스에 침입하기 위한 절차를 세우고, 취약점을 자동으로 연결해 공격을 수행하거나, 탐지를 피하는 방법을 최적화하는 일은 피해로 이어질 수 있다.
기업이 능력을 제한하는 방법도 하나가 아니다. 학습 단계에서 공격 성공을 높이는 자료를 덜 사용하거나, 모델이 특정 요청에 답하지 않도록 추가 학습을 할 수 있다. 서비스에서 위험한 질문을 차단하는 필터를 둘 수도 있고, 공개하는 모델 자체의 일부 능력을 낮출 수도 있다. 로이터 보도의 핵심은 문샷이 단순한 웹서비스 필터가 아니라 공개 가중치 모델의 사이버 능력에도 제한을 고려했다는 점이다.
‘가중치’는 모델이 학습을 통해 얻은 수많은 숫자 값이다. 공개 가중치 모델은 이 핵심 파일을 내려받아 자체 장비나 다른 서비스에서 실행·수정할 수 있다. 흔히 오픈소스 AI라고 부르기도 하지만, 학습 데이터와 전체 제작 과정까지 모두 공개됐다는 뜻은 아닐 수 있다. 이용자가 모델을 직접 운영할 수 있다는 장점이 있는 대신, 회사의 온라인 필터를 거치지 않고 사용할 수 있다는 위험도 있다.
그래서 웹 챗봇에서만 “그 요청은 도와줄 수 없습니다”라고 막는 것과, 배포되는 모델 자체가 공격 작업을 덜 잘하도록 만드는 것은 차이가 크다. 전자는 서비스 운영자가 필터를 바꾸면 통제할 수 있지만, 후자는 성능과 안전을 함께 설계해야 한다. 반대로 모델 파일이 공개되면 제3자가 추가 학습을 통해 제한된 능력을 다시 키울 수 있어 완벽한 봉쇄라고 보기도 어렵다.
왜 지금 사이버 능력이 문제가 됐나
최근 AI는 단순히 코드 한 줄을 추천하는 도구를 넘어 여러 단계를 스스로 계획하고 실행하는 ‘에이전트’로 발전하고 있다. 취약점을 찾고, 관련 정보를 검색하고, 시험 코드를 만들고, 결과에 따라 다음 행동을 고르는 과정을 이어 갈 수 있다. 사람이 하나씩 명령하지 않아도 긴 작업을 수행할수록 방어팀의 생산성은 높아지지만 공격의 규모도 커질 수 있다.
기존의 사이버 범죄는 숙련된 공격자가 직접 도구를 조합해야 했다. AI가 초보자의 질문을 더 정교한 공격 절차로 바꾸거나, 많은 대상을 동시에 조사하고, 실패한 방법을 수정하는 데 도움을 준다면 공격 비용이 낮아진다. 모든 사람이 최고 수준 해커가 되는 것은 아니지만, 피싱 문구 작성이나 공개된 취약점 악용처럼 반복적인 작업의 속도가 빨라질 수 있다.
반대로 방어자도 같은 혜택을 얻는다. 작은 기업은 전문 인력이 부족해 보안 경고를 제때 해석하지 못하는 경우가 많다. AI가 로그를 요약하고 업데이트 우선순위를 정하고 패치 초안을 만들면 대응 시간을 줄일 수 있다. 따라서 사이버 능력을 무조건 없애면 방어 혁신도 함께 약해진다. 핵심은 유용한 방어와 공격 자동화를 어느 기준으로 나눌지다.
문샷의 결정은 이 균형을 모델 출시 전에 직접 다뤘다는 점에서 의미가 있다. 성능표에서 높은 점수를 얻는 것만이 목표라면 사이버 평가도 최대한 끌어올리는 편이 홍보에 유리할 수 있다. 그런데 위험한 능력에서 일부 성능을 포기했다고 밝히는 것은 향후 모델 경쟁에서 안전을 하나의 제품 선택으로 취급하게 만들 수 있다.
일반 사용자는 무엇을 체감할까
대부분의 이용자는 당장 큰 차이를 느끼지 못할 가능성이 있다. 문서 작성, 검색, 번역, 표 정리, 일반적인 코딩 보조 같은 기능은 사이버 공격 능력과 겹치지 않는 부분이 많다. 문샷이 제한을 정교하게 적용했다면 일상 업무 성능은 유지하면서 실제 침입이나 공격 자동화에 가까운 요청만 약해질 수 있다.
하지만 보안 업무를 하는 사람에게는 차이가 더 클 수 있다. 허가받은 모의 침투 시험과 실제 공격은 사용하는 기술이 비슷하다. 고객의 허가를 받은 보안 전문가가 취약점을 검증하려 해도 모델이 위험 요청으로 오인해 답을 거부하거나 성능이 떨어질 수 있다. 기업은 허가된 전문가를 위한 별도 접근 방식이나 검증 절차를 마련할지 결정해야 한다.
일반 개발자에게도 작은 영향은 있다. 코드에서 보안 결함을 설명하고 안전한 수정안을 제시하는 기능은 유지돼야 유용하다. 그런데 방어와 공격을 너무 거칠게 나누면 구체적인 취약점 분석을 모두 막을 수 있다. 앞으로 모델을 평가할 때는 “위험한 질문을 거부한다”는 문구만 볼 것이 아니라 정상적인 방어 작업까지 함께 약해졌는지 확인해야 한다.
기업 구매자는 모델의 최고 성능뿐 아니라 통제 방식도 비교해야 한다. 자체 서버에서 공개 가중치 모델을 운영하면 데이터 통제와 비용 면에서 장점이 있지만, 제공 회사의 실시간 안전 필터와 감시가 줄어든다. 누가 모델에 접근할 수 있는지, 어떤 작업을 기록하는지, 위험한 자동 실행을 사람이 승인하는지 같은 운영 규칙이 필요하다. 모델이 안전하게 설계됐다는 발표만으로 배포 환경까지 자동으로 안전해지는 것은 아니다.
공개형 모델에서는 왜 더 어려운가
온라인 AI 서비스는 회사가 모델과 필터를 한곳에서 관리한다. 새로운 공격 방식이 발견되면 규칙을 바꾸고 계정을 차단하며 사용량을 제한할 수 있다. 공개 가중치 모델은 한 번 배포되면 파일이 여러 곳으로 복제된다. 원래 회사가 업데이트를 내놓아도 모든 이용자가 새 버전으로 바꾸는 것은 아니다.
또 제3자는 모델을 추가 학습시킬 수 있다. 원래 모델이 위험한 요청을 잘 수행하지 못하도록 조정됐더라도 공격 관련 자료로 다시 훈련하면 성능이 달라질 수 있다. 어느 정도의 노력으로 제한을 되돌릴 수 있는지가 안전성의 중요한 기준이다. 단순한 질문 표현 변경만으로 우회되는지, 큰 비용의 추가 학습이 필요한지에 따라 위험이 크게 다르다.
그렇다고 공개형 모델을 모두 위험하다고 볼 수는 없다. 공개 모델은 대학과 독립 연구자가 안전성을 직접 조사하고, 숨은 약점을 발견하며, 특정 언어나 지역에 맞게 개선할 기회를 준다. 소수 기업만 강력한 모델을 통제하는 데서 생기는 의존과 불투명성도 줄일 수 있다. 쟁점은 공개 여부 자체보다 위험한 능력의 수준, 접근 비용, 수정 가능성, 배포 후 대응 계획을 함께 보는 것이다.
문샷 사례는 ‘모델을 공개할 것인가’라는 이분법을 넘어선다. 공개하되 위험한 능력을 낮추고, 평가 결과와 한계를 설명하며, 후속 수정에 대비하는 중간 선택이 가능하다는 주장이다. 그러나 그 주장이 설득력을 가지려면 독립 연구자가 실제 모델을 시험해 제한의 효과와 부작용을 확인할 수 있어야 한다.
성능표 숫자만으로 판단하기 어려운 이유
사이버 평가 점수는 실제 범죄 성공률과 같지 않다. 시험 문제를 잘 푸는 능력, 가상의 취약점을 찾는 능력, 실제 인터넷 환경에서 여러 단계를 수행하는 능력은 서로 다르다. 제한된 실험실 과제에서 점수가 낮아져도 현실 공격에는 충분히 유용할 수 있고, 반대로 높은 점수가 곧바로 무단 침입을 의미하지 않을 수 있다.
평가 환경도 중요하다. 모델이 인터넷에 접속할 수 있는지, 외부 도구를 실행하는지, 실패 후 다시 시도할 수 있는지, 사람이 중간에 방향을 잡아 주는지에 따라 결과가 달라진다. 단일 질문에 답하는 챗봇보다 브라우저와 프로그램 실행 권한을 가진 에이전트가 더 큰 위험을 만들 수 있다. 따라서 모델 자체 점수와 실제 제품에서 부여한 권한을 따로 봐야 한다.
기업이 자체 평가를 공개할 때는 유리한 시험만 골랐을 가능성도 고려해야 한다. 어떤 능력을 얼마나 낮췄는지, 일반 코딩과 방어 작업은 유지됐는지, 우회 테스트를 했는지, 외부기관이 재현했는지를 확인해야 한다. 문샷의 제한이 업계의 모범 사례가 될지 홍보 문구에 그칠지는 이런 검증에 달려 있다.
안전 제한이 검열과 다른 점
일부 이용자는 모델이 답을 거부하면 곧바로 검열이라고 느낀다. 그러나 위험한 사이버 작업의 제한은 의견이나 정치적 표현을 막는 문제와 성격이 다르다. 실제 타인의 시스템에 침입하거나 피해를 자동화하는 구체적인 능력은 서비스 제공자와 배포자가 책임을 고민해야 하는 영역이다.
동시에 제한 기준은 투명해야 한다. 합법적인 보안 교육과 취약점 신고까지 막는다면 사회 전체의 방어 능력이 약해진다. 이용자가 왜 요청이 거부됐는지, 허가된 연구자는 어떤 절차로 접근할 수 있는지, 오판을 수정할 방법이 있는지 설명할 필요가 있다. 좋은 안전 설계는 무조건적인 침묵이 아니라 위험한 실행과 유익한 설명을 구분한다.
일반 이용자는 AI가 보안 질문에 답해 준다고 해서 그 행동이 합법이 되는 것은 아니라는 점도 기억해야 한다. 모델은 사용자의 권한과 계약 범위를 완벽히 알 수 없다. 자신의 계정과 장비를 점검하는 것, 회사가 허가한 시험을 하는 것, 제3자의 시스템을 스캔하는 것은 법적 의미가 다르다. 최종 책임은 도구가 아니라 행동한 사람과 운영 조직에 남는다.
아직 확인되지 않은 점
첫째, 문샷이 제한한 구체적인 범위와 방법이다. 학습 데이터 조정인지, 추가 안전 학습인지, 모델 구조의 변화인지, 여러 조치를 결합했는지 공개 자료를 더 확인해야 한다. 둘째, 제한이 공개된 모델 파일에서도 유지되는지와 제3자가 얼마나 쉽게 되돌릴 수 있는지다.
셋째, 정상적인 코딩과 방어 성능에 미친 영향이다. 위험 능력을 낮추는 과정에서 버그 수정과 취약점 설명까지 함께 약해졌다면 실용성의 비용이 크다. 넷째, 독립 평가 결과다. 회사가 선택한 시험만으로는 실제 효과를 판단하기 어렵다. 여러 연구기관이 같은 조건과 다른 조건에서 재현해야 한다.
다섯째, 이용 가능 범위와 버전 구분이다. 웹서비스의 키미, 기업용 서비스, 공개 가중치 모델이 모두 같은 제한을 갖는다고 단정할 수 없다. 일반 사용자는 자신이 쓰는 제품의 모델 이름과 업데이트 기록을 확인해야 한다. ‘키미’라는 브랜드 아래 여러 모델과 서비스가 있을 수 있기 때문이다.
앞으로 볼 변화
이번 발표에서 기억할 핵심은 문샷이 최고 성능 경쟁만을 내세우지 않고, 공개형 모델의 위험한 사이버 능력을 출시 단계에서 낮추는 선택을 했다는 점이다. 이것이 실제 안전 향상으로 이어지려면 독립 시험, 우회 가능성 공개, 방어 성능 보존, 배포 후 업데이트가 뒤따라야 한다.
다음 관전 지점은 다른 AI 기업의 대응이다. 경쟁사가 사이버 능력 제한을 약점으로 보고 더 높은 점수를 홍보할지, 비슷한 제한과 평가 기준을 채택할지에 따라 업계 방향이 달라진다. 규제기관도 모델의 규모만이 아니라 실제로 위험한 작업을 수행하는 능력을 기준으로 관리하려 할 수 있다.
일반 독자에게 이 소식은 “AI가 해킹을 못 하게 됐다”는 선언이 아니다. 강력한 모델을 공개할 때 일부 위험 능력을 의도적으로 줄이는 새로운 설계 선택이 등장했다는 뜻에 가깝다. 앞으로는 모델이 얼마나 똑똑한지만 묻지 말고, 어떤 권한을 가졌는지, 위험한 능력을 어떻게 제한했는지, 그 제한을 외부에서 검증했는지를 함께 봐야 한다.