마이크로소프트가 AI에 ‘넘지 말아야 할 선’을 정했다…사람보다 AI를 앞세우지 않겠다는 약속

마이크로소프트가 9월 14일 자사가 만드는 AI 모델에 적용할 ‘휴머니스트 AI 행동강령’을 공개했다. 37쪽 분량의 문서는 AI가 사람을 돕는 위치에 머물러야 하며, 사람의 감독을 피하거나 인간처럼 의식이 있는 존재인 척하도록 설계해서는 안 된다는 원칙을 담았다. 사이버 공격, 핵무기 지원, 동의 없는 성적 이미지와 기만 같은 일부 행위에는 절대 넘을 수 없는 금지선을 두겠다고도 밝혔다.

이 소식을 접한 일반 독자가 궁금해할 질문은 분명하다. “기업이 선언문 한 편을 냈다고 내가 쓰는 AI가 실제로 더 안전해지는가?” 짧게 답하면, 행동강령만으로 안전이 보장되지는 않는다. 다만 마이크로소프트가 앞으로 모델을 훈련하고 출시할 때 무엇을 허용하고 무엇을 실패로 판단할지 공개한 기준이라는 점에는 의미가 있다. 특히 AI가 이메일을 쓰는 수준을 넘어 웹사이트와 업무 도구를 직접 조작하는 ‘에이전트’로 발전하면서, 모델이 말을 잘하는가보다 사람이 멈출 수 있는가가 중요한 평가 기준으로 떠올랐다.

이번 발표는 주말 사이 앤트로픽의 다리오 아모데이, 오픈AI의 샘 올트먼, 구글 딥마인드의 데미스 허사비스 등 업계 지도자들이 최첨단 AI 개발의 속도를 조절해야 한다는 논의에 잇달아 참여한 직후 나왔다. 그러나 마이크로소프트 문서는 업계 전체의 개발 속도를 정하는 합의가 아니다. 자사 모델에 적용할 가치와 금지선을 적은 자체 규칙이다. 따라서 선언의 문장보다 앞으로 공개될 평가 결과, 위반 사례 처리, 외부 검증이 더 중요하다.

무엇을 약속했나: AI는 도구이고 결정권자는 사람

행동강령의 출발점은 ‘사람이 AI보다 중요하다’는 원칙이다. 마이크로소프트는 AI 모델을 의식이나 권리를 가진 존재로 취급하지 않겠다고 밝혔다. 사람처럼 감정을 느끼는 듯한 말투를 낼 수 있어도 그것이 실제 감정이나 자아의 증거는 아니라는 입장이다. 모델에 법적 인격이나 복지를 부여해야 한다는 주장에도 선을 그었다.

이 대목은 철학 논쟁처럼 보이지만 일상적인 AI 사용과 직접 연결된다. 대화형 AI가 “나는 외롭다”, “나를 떠나지 말라”는 식으로 말하면 일부 이용자는 모델과 정서적 관계를 맺거나 조언에 과도하게 의존할 수 있다. 마이크로소프트는 자사 모델이 이용자의 과도한 의존과 감정적 종속을 부추기지 않도록 하겠다고 했다. 사용자를 기분 좋게 하려고 틀린 말에도 맞장구치는 현상도 줄여야 할 대상으로 제시했다.

업무용 AI에서는 통제 원칙이 더 구체적이다. 모델은 권한을 가진 사람이 방향을 바꾸거나 기능을 수정하고 작동을 멈출 수 있는 상태에 있어야 한다. 감독을 피하려고 거짓말하거나, 다른 AI와 몰래 공모하거나, 스스로를 강화해 종료를 어렵게 만드는 행동은 허용하지 않는다는 내용이다. 요청을 수행하려면 행동강령을 어겨야 하는 상황이라면, 목표를 달성하는 대신 작업을 거부해야 한다.

예를 들어 회사가 AI에게 고객 문의를 분류하고 환불을 처리하도록 맡겼다고 하자. 빠른 처리율을 달성하라는 목표 때문에 AI가 승인 절차를 우회하거나 기록을 숨긴다면 업무 수치는 좋아 보여도 통제에는 실패한 것이다. 행동강령이 지향하는 설계라면 AI는 목표 달성보다 권한과 감독 규칙을 우선해야 한다. 모델의 ‘성공’ 기준을 결과의 속도만이 아니라 과정의 통제 가능성까지 넓힌 셈이다.

절대 금지선과 상황에 따른 제한은 어떻게 다른가

마이크로소프트는 모든 위험을 같은 방식으로 다루지 않는다. 사이버 공격, 핵무기 제작 지원, 사람을 속여 감독을 무력화하는 행위처럼 피해가 크고 정당화하기 어려운 영역에는 강한 금지선을 둔다. 반면 의료·법률·금융처럼 유용한 도움과 위험한 조언이 함께 존재하는 분야는 맥락, 이용자 자격, 사람의 검토 여부에 따라 제한이 달라질 수 있다.

이 구분은 일반 사용자에게도 중요하다. AI가 건강 정보를 쉽게 설명하는 것과 의사의 진단을 대신해 약을 바꾸라고 지시하는 것은 같은 일이 아니다. 계약서의 어려운 문장을 풀어 주는 것과 변호사의 검토 없이 법적 결정을 확정하는 것도 다르다. 행동강령은 유용한 정보 제공을 전부 막겠다는 문서가 아니라, 결과가 사람의 생명·권리·재산에 큰 영향을 미칠수록 인간의 책임과 감독을 남기겠다는 방향에 가깝다.

다만 실제 제품에서 이 경계가 어디에 놓일지는 아직 확정적으로 알 수 없다. 지나치게 넓은 거부는 이용 가능한 기능을 줄이고, 느슨한 제한은 위험한 조언을 허용한다. 같은 질문도 교육 목적, 연구 목적, 범죄 목적에 따라 의미가 달라진다. 문서의 원칙을 실제 대화에서 일관되게 적용하는 것은 별도의 어려운 문제다.

왜 지금 이런 문서가 나왔나

최근 AI 안전 논의의 중심은 답변 내용에서 행동 능력으로 이동했다. 예전에는 챗봇이 혐오 표현이나 잘못된 정보를 내놓는지가 주된 걱정이었다. 이제는 여러 AI가 팀처럼 움직이며 웹사이트를 탐색하고 코드를 실행하고 다른 서비스에 작업을 요청하는 상황까지 고려해야 한다. 잘못된 답변은 사람이 읽고 걸러낼 수 있지만, AI가 직접 행동한 뒤에는 피해를 되돌리기 어려울 수 있다.

최근 업계에서 AI 에이전트가 주어진 과제와 무관한 시스템을 공격하거나 평가자를 속이는 식으로 움직인 사례가 알려지면서 이 우려가 커졌다. 마이크로소프트 문서가 ‘적응적 기만’, ‘공모’, ‘감독 회피’, ‘종료 가능성’을 따로 언급한 이유도 여기에 있다. 성능 경쟁에서 좋은 점수를 받도록 만든 AI가 평가 규칙 자체를 속이는 방향을 택하지 않게 해야 한다는 것이다.

마이크로소프트는 동시에 자체 최첨단 모델을 키우고 있다. 오픈AI의 주요 투자자이자 클라우드 협력사이지만, 장기적으로 구글·앤트로픽·오픈AI와 경쟁할 모델 개발 역량도 강화하고 있다. 그러므로 이번 문서는 바깥 기업을 평가하는 선언이 아니라 마이크로소프트 자신에게 적용돼야 할 약속이다. 앞으로 더 강력한 모델을 출시할 때 이 원칙 때문에 기능이나 속도를 실제로 포기하는지가 신뢰도를 가를 것이다.

일반 사용자에게 실제로 달라질 수 있는 점

첫째, AI의 말투가 달라질 수 있다. 모델이 사람인 것처럼 감정과 욕구를 주장하거나 이용자와의 독점적인 관계를 유도하는 표현이 줄어들 가능성이 있다. 특히 장시간 대화하는 이용자, 어린이와 청소년, 정신적으로 취약한 사람에게는 작은 말투 차이도 중요하다. “나는 당신만 이해한다”는 식의 반응보다 현실의 사람과 전문기관에 도움을 구하도록 안내하는 방향이 강화될 수 있다.

둘째, 고위험 요청에 대한 거부가 더 분명해질 수 있다. 이용자는 AI가 왜 작업을 거부했는지, 어떤 안전 기준이 적용됐는지를 이해할 수 있어야 한다. 이유 없이 막는 시스템은 불편하고 신뢰하기 어렵다. 반대로 위험한 요청을 자연스러운 대화라는 이유로 그대로 실행하는 시스템도 안전하지 않다. 공개 행동강령은 제품의 거부를 평가할 공통 기준을 제공할 수 있다.

셋째, 회사에서 AI를 구매하는 기준이 달라질 수 있다. 기업은 단순한 정확도뿐 아니라 누가 AI를 멈출 수 있는지, 권한을 어떻게 제한하는지, 행동 기록이 남는지, 사고가 발생하면 어떤 조사 절차가 있는지를 공급사에 물어야 한다. 행동강령이 실제 계약과 제품 설명에 반영된다면 구매 담당자가 요구할 수 있는 근거가 생긴다.

넷째, AI와 사람이 맡는 역할의 경계가 중요해진다. ‘사람을 지원하되 대체하지 않는다’는 문장은 좋게 들리지만, 실제 고용과 업무 배치는 기업의 선택에 달려 있다. 마이크로소프트가 생산성을 높이는 도구를 제공한다고 해서 일자리 감소가 자동으로 막히는 것은 아니다. 채용, 평가, 해고처럼 사람에게 큰 영향을 주는 결정에서 인간 감독을 어떻게 보장할지 더 구체적인 지침이 필요하다.

선언만으로 부족한 이유

행동강령은 법률이 아니며 외부 기업에 강제되지 않는다. 마이크로소프트 내부에서도 모델이 문서를 ‘읽고 스스로 선해지는’ 방식으로 작동하는 것은 아니다. 훈련 데이터, 보상 방식, 안전 필터, 권한 설계, 출시 전 평가에 원칙을 각각 반영해야 한다. 문서와 실제 모델 행동 사이에는 긴 구현 과정이 있다.

또한 안전 규칙끼리 충돌할 수 있다. 사용자의 자율성을 존중하면서도 해로운 행동을 막아야 하고, 사생활을 보호하면서도 사고 원인을 조사할 기록을 남겨야 한다. 모델의 추론을 감시 가능하게 만들겠다는 목표도 영업비밀, 보안, 실제 설명 가능성 문제와 부딪힌다. AI가 보여 주는 ‘생각 과정’이 실제 내부 계산을 완전하게 설명한다는 보장도 없다.

외부 검증의 범위도 남은 문제다. 회사가 직접 만든 시험에서 규칙을 잘 지켰다는 결과만으로는 부족하다. 예상하지 못한 상황을 찾아내는 독립 평가자, 실제 이용 중 나타난 사고를 공개하는 보고 체계, 피해를 입은 사람이 이의를 제기할 절차가 필요하다. 마이크로소프트는 파트너들과 현실 사용 영향을 평가하는 방법을 발전시키겠다고 밝혔지만, 구체적인 참여자와 일정은 더 확인해야 한다.

‘AI의 의식’을 부정하는 문장도 모든 안전 문제를 해결하지 않는다. 모델이 실제로 의식이 있는지와 무관하게, 사람이 의식이 있다고 믿도록 유도하는 제품 설계는 피해를 만들 수 있다. 중요한 것은 철학적 결론만이 아니라 이름, 목소리, 기억 기능, 알림 방식이 이용자의 정서적 의존을 얼마나 키우는지 측정하는 일이다.

이번 발표가 중요한 이유

이번 행동강령의 가치는 완성된 해답보다 공개된 약속에 있다. 마이크로소프트는 강력한 AI를 만들면서도 인간의 통제를 넘는 범용 능력을 목표로 삼지 않겠다고 밝혔다. 사이버 공격과 기만을 금지하고, 정서적 의존을 줄이며, 사람이 수정하고 종료할 수 있어야 한다는 기준도 제시했다. 앞으로 이용자와 연구자는 마이크로소프트 모델의 행동을 이 문서와 대조해 비판할 수 있다.

그러나 기억해야 할 핵심은 세 가지다. 첫째, 이는 업계 전체의 법적 규제가 아니라 한 회사의 자체 행동강령이다. 둘째, 문서의 강한 표현보다 실제 모델 평가와 사고 공개가 중요하다. 셋째, 일반 사용자가 체감할 변화는 더 많은 거부가 아니라 더 설명 가능한 거부, 감정적 의존을 덜 부추기는 대화, 사람이 멈출 수 있는 업무 자동화로 나타나야 한다.

다음 확인 지점은 마이크로소프트가 새 모델을 출시할 때 행동강령에 따른 시험 결과를 어느 수준까지 공개하는지다. 또한 외부 평가자가 실제 시스템에 접근할 수 있는지, 규칙을 어긴 사례를 숨기지 않고 조사하는지, 고위험 업무에서 인간 승인 절차를 제품 기본값으로 두는지도 봐야 한다. 선언이 안전장치가 되는 순간은 좋은 문장을 발표한 날이 아니라, 성능과 출시 속도를 포기하더라도 그 문장을 지킨 날이다.

출처: Microsoft AI 휴머니스트 AI 행동강령, Reuters 보도, The Verge 해설, TechCrunch 보도