엔비디아·마이크로소프트 등 30여 곳, ‘열린 AI 보안 동맹’ 출범…왜 지금 필요한가

엔비디아, 마이크로소프트, IBM, 시스코, 클라우드플레어, 허깅페이스 등 30여 개 기업과 단체가 2026년 7월 27일 ‘오픈 시큐어 AI 얼라이언스’를 출범시켰다. 목표는 AI 시스템의 취약점을 찾고, 공격을 분석하고, AI 에이전트의 행동을 추적·감사할 수 있는 도구를 공개된 형태로 함께 만드는 것이다. 특정 회사의 보안 제품을 판매하기 위한 단일 서비스가 아니라 여러 회사와 공공기관이 검토하고 고쳐 쓸 수 있는 공동 기반을 만들겠다는 구상이다.

출범 시점도 중요하다. 최근 허깅페이스 침해 사고에서 공격자는 AI를 이용해 대규모 행동을 자동화했고, 방어팀도 1만7,000건이 넘는 활동을 분석하기 위해 자체 환경에서 실행할 수 있는 공개형 AI 모델을 활용했다. 엔비디아는 외부의 폐쇄형 AI 도구가 공격자와 방어자를 구분하지 못해 필요한 분석을 차단한 사례를 동맹의 출범 이유로 들었다. 공격과 방어 모두 AI를 쓰는 단계에서 보안팀이 직접 통제할 수 있는 도구가 필요하다는 주장이다.

핵심 내용은 엔비디아 공식 발표와 공동 창립 멤버인 리눅스 재단의 설명을 통해 확인할 수 있다. 다만 두 자료 모두 동맹에 참여한 당사자의 발표다. 공개 도구가 실제 공격을 얼마나 잘 막는지, 회원사들이 장기적으로 얼마나 협력할지는 앞으로 독립적인 검증이 필요하다.

‘열린 AI 보안’은 무슨 뜻인가

여기서 ‘열린’이라는 말은 모든 AI를 아무 제한 없이 공개한다는 뜻이 아니다. 동맹은 모델의 가중치, AI 에이전트를 움직이는 실행 틀, 취약점 평가 자료, 공격 모의시험 도구, 보안 규칙 등을 연구자와 기업이 살펴보고 수정할 수 있는 형태로 공유하겠다고 설명한다.

일반 소프트웨어에서 오픈소스는 누구나 코드를 검사하고 오류를 신고하며 개선안을 제출할 수 있게 했다. AI 보안에서도 비슷한 장점을 얻겠다는 것이다. 한 회사의 비공개 시스템만 믿기보다 여러 조직이 같은 도구를 시험하고, 발견한 취약점을 공개 절차에 따라 고치고, 자사 데이터센터 안에서 직접 실행할 수 있게 하려 한다.

다만 AI 모델의 ‘오픈’은 소프트웨어 코드 공개와 완전히 같지 않다. 모델의 가중치를 내려받을 수 있어도 학습 데이터와 학습 과정, 안전성 시험 결과가 모두 공개되는 것은 아니다. 반대로 코드와 도구만 공개하고 가장 강력한 모델은 비공개일 수도 있다. 그래서 어떤 구성요소가 실제로 공개되고 어떤 사용 조건이 붙는지를 프로젝트별로 확인해야 한다.

왜 AI 에이전트가 보안 문제를 키우나

일반 챗봇은 질문에 문장으로 답하는 데 그치지만 AI 에이전트는 파일을 읽고, 프로그램을 실행하고, 웹사이트에 접속하고, 다른 시스템에 요청을 보낼 수 있다. 권한을 부여하면 사람 대신 여러 단계를 연속으로 처리한다. 편리한 만큼 잘못된 지시나 공격을 받았을 때 피해 범위도 커진다.

예를 들어 이메일을 정리하는 에이전트가 악성 메시지에 숨은 지시를 읽고 기밀 파일을 외부로 보낼 수 있다. 고객 지원 에이전트가 필요 이상의 데이터베이스 권한을 갖고 있다면 한 번의 오류가 많은 고객 정보 노출로 이어질 수 있다. 코드 작성 에이전트는 공격자가 끼워 넣은 패키지나 명령을 정상 작업으로 오인할 수 있다.

따라서 AI 모델의 답변 품질만 검사해서는 부족하다. 어떤 신원으로 접속했는지, 어떤 권한을 썼는지, 실행 환경이 격리됐는지, 어떤 파일을 읽었는지, 결정 과정을 기록했는지까지 전체 흐름을 봐야 한다. 엔비디아와 리눅스 재단은 이를 ‘에이전트 전체 스택’의 보안이라고 설명한다.

허깅페이스 사고가 보여준 것

엔비디아 발표에 따르면 최근 허깅페이스 보안 사고에서 방어팀은 1만7,000건이 넘는 공격 활동을 분석해야 했다. 외부 폐쇄형 AI 서비스는 해당 요청이 공격을 위한 것인지 방어를 위한 포렌식 분석인지 구분하지 못해 일부 작업을 막았다. 허깅페이스는 결국 공개 가중치 모델인 GLM 5.2를 자체 인프라에서 실행해 공격을 분석하고 침해를 억제하는 데 사용했다.

이 사례의 요점은 공개 모델이 폐쇄 모델보다 언제나 안전하거나 성능이 좋다는 것이 아니다. 보안 사고 중에는 민감한 로그를 외부에 보내기 어렵고, 모델의 거부 규칙을 방어 상황에 맞게 조정해야 하며, 네트워크가 끊겨도 자체 시스템에서 분석해야 할 수 있다. 직접 실행하고 통제할 수 있는 선택지가 방어팀에 중요하다는 뜻이다.

동시에 이 설명은 동맹을 주도하는 엔비디아의 주장이라는 점을 기억해야 한다. 사고의 전체 원인, 공개 모델이 수행한 구체적인 역할, 분석 결과의 정확도는 별도의 사고 보고서와 독립적인 검토가 필요하다. ‘공개 AI가 사건을 해결했다’고 단순화하면 사람의 조사와 기존 보안 도구, 대응 절차의 역할을 놓치게 된다.

누가 참여했나

엔비디아가 공개한 창립 파트너에는 어도비, 캐피털원, 시스코, 클라우드플레어, 크라우드스트라이크, 데이터브릭스, 델, HPE, 허깅페이스, IBM, 리눅스 재단, 마이크로소프트, 네이버, 팔로알토 네트웍스, 레드햇, 세일즈포스, SAP, 서비스나우, 지멘스, SK텔레콤, 스노우플레이크 등이 포함됐다. 클라우드, 보안, 기업용 소프트웨어, 통신, 금융, AI 연구 조직이 함께 들어간 구성이다.

참여사 수가 많다는 사실만으로 공동 표준이 만들어지는 것은 아니다. 대기업 연합은 출범 때 이름이 길어도 실제 공동 코드와 유지보수 책임이 불분명해지는 경우가 있다. 이번 동맹의 성패는 회원 목록보다 어떤 프로젝트를 공개하고, 누가 보안 취약점을 접수하며, 수정 사항을 얼마나 빠르게 배포하는지에 달려 있다.

한국 독자에게는 네이버와 SK텔레콤이 창립 파트너에 포함됐다는 점도 눈에 띈다. 국내 서비스와 통신 인프라에 적용 가능한 평가 도구나 보안 기준이 만들어질 수 있다. 그러나 참여 자체가 국내 서비스의 안전성을 보증하는 인증은 아니다. 어떤 프로젝트에 어떤 코드와 인력을 기여하는지 확인해야 실제 의미를 판단할 수 있다.

동맹이 내놓겠다고 한 도구들

엔비디아는 ‘NOOA’라는 공개 연구 프레임워크를 제공한다고 밝혔다. AI 에이전트의 행동을 시험하고, 추적하고, 감사하고, 관리하기 쉽게 만드는 실행 틀이다. 이름이나 기술 세부사항보다 중요한 점은 AI가 어떤 행동을 했는지 나중에 재구성할 수 있게 하려는 목표다. 사고가 나도 기록이 없다면 원인과 피해 범위를 찾기 어렵다.

HPE가 기여하는 SPIFFE와 SPIRE는 AI 에이전트와 서비스의 신원을 암호학적으로 확인하는 데 초점을 둔다. 회사 네트워크 안에서 ‘누가 요청했는가’를 사람 계정뿐 아니라 자동화된 프로그램에도 적용하는 방식이다. 허가받은 에이전트만 특정 시스템과 통신하게 만드는 기반이 될 수 있다.

허깅페이스는 모델 파일을 저장할 때 임의 코드가 실행되는 위험을 줄이는 ‘세이프텐서’ 형식을 파이토치 재단에 제공했다고 밝혔다. IBM과 레드햇의 라이트웰은 공개 소프트웨어 공급망에서 패치가 진짜 작성자가 배포한 것인지 확인할 수 있도록 디지털 서명을 활용한다.

마이크로소프트의 MDASH는 여러 전문 AI 에이전트가 취약점을 찾고 서로 검토하며 실제 악용 가능성을 입증하도록 구성된 검사 틀이다. 이런 도구들은 하나의 만능 보안 제품보다 신원, 파일 형식, 코드 수정, 취약점 평가 등 서로 다른 층을 나눠 맡는다.

현재 단계에서 중요한 한계도 있다. 발표에는 여러 프로젝트의 방향과 기여 계획이 담겼지만, 모든 도구가 완성된 표준으로 널리 검증됐다는 뜻은 아니다. 실험용 연구 프레임워크와 실제 기업 시스템에 바로 적용할 수 있는 안정된 제품을 구분해야 한다.

일반 이용자에게 왜 중요한가

동맹의 도구를 일반 이용자가 직접 설치할 일은 거의 없다. 영향은 이용자가 쓰는 은행, 통신사, 쇼핑몰, 업무 서비스가 AI 에이전트를 도입할 때 나타난다. 에이전트가 고객 정보를 조회하거나 환불을 처리하고, 사내 문서를 읽고, 시스템 설정을 바꾸기 시작하면 사고 한 번의 피해가 커진다.

공개된 보안 도구와 시험 기준이 널리 쓰이면 여러 회사가 같은 취약점을 반복해서 겪는 일을 줄일 수 있다. 작은 기업도 대형 보안회사만 가진 검사 방법을 활용할 수 있고, 연구자는 도구의 약점을 독립적으로 확인할 수 있다. 특정 공급자의 서비스가 중단되거나 정책상 분석을 거부해도 자체 환경에서 대응할 선택지가 생긴다.

반대로 공개 도구는 공격자도 볼 수 있다. 취약점 검사 방법과 강력한 모델을 악용할 가능성이 있다. 동맹은 이런 위험이 공개 시스템에만 있는 것은 아니며, 방어자에게도 동등한 도구를 제공하는 편이 낫다고 주장한다. 이 주장은 논쟁의 대상이다. 어떤 능력을 언제 공개하고, 발견된 취약점을 수정할 시간을 얼마나 확보할지에 따라 결과가 달라질 수 있다.

기업과 공공기관에 달라지는 점

기업은 AI 모델 하나를 구매했다고 보안 책임이 끝나지 않는다. 모델을 연결한 앱, 접근 권한, 플러그인, 외부 데이터, 로그, 사람의 승인 절차까지 포함해 관리해야 한다. 이번 동맹이 강조하는 핵심도 모델 자체보다 전체 실행 구조다.

예를 들어 구매 주문을 처리하는 AI가 있다면 답변 정확도만 볼 것이 아니라 금액 한도, 승인자, 거래처 변경 권한, 비정상 요청 탐지, 작업 기록 보관을 함께 설계해야 한다. 보안 도구가 공개되면 이런 통제를 여러 공급자의 제품에 공통으로 적용할 가능성이 커진다.

공공기관은 데이터 주권 문제도 고려한다. 국민 정보나 국가 기반시설 로그를 해외 AI 서비스에 보내기 어려운 경우, 자체 서버에서 실행할 수 있는 공개 모델과 검사 도구가 필요할 수 있다. 동맹은 이를 ‘주권적 통제’의 장점으로 내세운다. 그러나 자체 운영은 책임도 자체 부담한다. 업데이트, 취약점 수정, 전문 인력 없이 모델만 내려받으면 오히려 위험할 수 있다.

공개 모델을 둘러싼 정책 논쟁

이번 동맹은 기술 프로젝트인 동시에 정책 메시지다. 엔비디아와 리눅스 재단은 강력한 공개 모델을 일괄 제한하면 방어자와 중소기업, 연구기관의 선택권이 줄고 소수 폐쇄형 공급자에 의존하게 된다고 주장한다. 규제기관이 공개 모델을 위험 그 자체로 보지 말고 방어 자산으로도 평가해야 한다는 입장이다.

반대쪽 우려도 가볍지 않다. 공개 가중치 모델은 한 번 배포되면 회수하기 어렵고, 안전장치를 제거해 공격 자동화나 유해 콘텐츠 제작에 쓸 수 있다. 폐쇄형 서비스는 계정을 차단하고 사용 기록을 조사할 수 있지만, 개인 서버에서 돌아가는 모델에는 같은 통제가 어렵다.

따라서 논쟁은 ‘공개는 안전, 폐쇄는 위험’ 또는 그 반대로 끝나지 않는다. 모델의 능력 수준, 공개 시점, 사용 허가, 취약점 공개 절차, 악용 평가, 배포 후 업데이트를 함께 봐야 한다. 동맹도 공개 시스템에 강한 보호장치와 평가, 신속한 수정이 필요하다고 인정한다.

발표를 그대로 받아들이기 어려운 이유

첫째, 엔비디아는 공개 AI 생태계가 커질수록 반도체와 소프트웨어 수요가 늘어나는 기업이다. 동맹의 공익적 목표와 사업적 이해가 동시에 존재한다. 발표문의 ‘열린 도구가 더 안전하다’는 주장은 실제 성과로 검증해야 한다.

둘째, 회원사 사이에는 경쟁 관계가 있다. 클라우드, 보안, AI 모델 시장에서 서로 경쟁하는 회사들이 어느 수준까지 기술과 사고 정보를 공유할지는 미지수다. 이름을 올리는 것과 핵심 취약점을 공동으로 해결하는 것은 다르다.

셋째, 공개 프로젝트의 유지보수 비용이 남는다. 코드를 공개하는 순간보다 수년간 오류 신고를 받고 업데이트하는 과정이 더 어렵다. 책임 조직, 재원, 배포 주기, 지원 기간이 명확해야 기업이 핵심 시스템에 채택할 수 있다.

넷째, 공격자도 같은 도구를 사용할 수 있다. 취약점 탐지 AI가 방어팀의 검사 속도를 높이는 동시에 공격 대상 탐색을 자동화할 수 있다. 공개 범위와 취약점 공개 시점을 세밀하게 운영하지 않으면 방어보다 공격이 먼저 빨라질 가능성도 있다.

앞으로 확인할 지표

첫 번째는 실제 공개 저장소와 배포물이다. 발표문이 아니라 누구나 내려받아 시험할 수 있는 코드, 문서, 평가 데이터가 얼마나 나오는지 봐야 한다. NOOA 같은 연구 프레임워크가 외부 기여를 받고 정기적으로 업데이트되는지도 중요하다.

두 번째는 공동 취약점 처리 절차다. 회원사가 발견한 문제를 어디에 신고하고, 제품 공급자에게 수정 시간을 준 뒤 어떤 방식으로 공개하는지가 필요하다. 공격 정보를 무조건 즉시 공개하는 것은 이용자를 더 위험하게 만들 수 있다.

세 번째는 독립 평가다. 동맹 회원이 아닌 대학과 보안 연구자가 도구의 탐지율, 오탐률, 우회 가능성을 재현할 수 있어야 한다. 성공 사례뿐 아니라 실패 사례와 한계도 공개돼야 신뢰가 생긴다.

네 번째는 중소기업과 공공기관의 실제 채택이다. 대기업끼리만 사용하는 복잡한 도구라면 ‘방어 역량의 민주화’라는 목표와 거리가 멀다. 설치와 운영 비용, 교육 자료, 장기 지원 여부가 관건이다.

다섯 번째는 정책에 미치는 영향이다. 동맹은 공개 모델을 일괄 제한하지 말라는 메시지를 분명히 냈다. 미국과 다른 국가의 AI 규제 논의에서 이 주장이 어떤 안전 조건과 함께 받아들여지는지 지켜볼 필요가 있다.

이번 발표가 중요한 이유

오픈 시큐어 AI 얼라이언스 출범은 AI 보안의 초점이 ‘챗봇이 나쁜 말을 하지 않는가’에서 ‘행동하는 AI가 어떤 권한으로 무엇을 했는가’로 이동하고 있음을 보여준다. AI 에이전트가 파일과 시스템을 직접 다루는 시대에는 신원 확인, 권한 제한, 격리, 기록, 취약점 평가가 함께 필요하다.

엔비디아와 30여 개 파트너는 이 기반을 공개된 도구로 만들겠다고 약속했다. 허깅페이스 사고는 방어팀이 자체 환경에서 통제할 수 있는 AI가 왜 필요한지 보여준 사례로 제시됐다. 그러나 동맹의 출범만으로 보안이 개선된 것은 아니다. 공개된 코드의 품질, 회원사의 실제 기여, 독립 검증, 장기 유지보수가 따라와야 한다.

일반 이용자가 기억할 점은 공개 모델과 폐쇄 모델 중 하나가 자동으로 안전한 것이 아니라는 사실이다. 중요한 것은 AI가 부여받은 권한, 행동 기록, 외부 검증, 사고 대응 체계다. 앞으로 이 동맹을 평가할 때도 화려한 회원 명단보다 실제 공개 도구와 검증 가능한 보안 개선 사례를 봐야 한다.