OpenAI Presence식 운영 설계: 고객지원 AI 에이전트에 승인·에스컬레이션 넣는 법

요약: OpenAI Presence는 self-serve API라기보다 엔터프라이즈 고객지원 AI 에이전트를 운영하는 방식에 가깝습니다. 개발자에게 유용한 지점은 제품명 자체가 아니라 정책, guardrail, 승인 액션, simulation, escalation을 한 묶음으로 보는 관점입니다. 핵심 키워드는 OpenAI Presence, 고객지원 AI 에이전트, escalation, guardrail입니다.

문제: 데모에서 되는 에이전트와 운영 가능한 에이전트는 다르다

고객지원 AI 에이전트 데모는 만들기 쉽습니다. FAQ를 넣고, 주문 조회 tool을 붙이고, 친절한 말투를 주면 그럴듯하게 답합니다. 하지만 production에 올리면 질문이 바뀝니다. 고객은 화가 나 있고, 계정 정보는 불완전하고, 환불 정책은 예외가 많고, 일부 요청은 법무·보안·결제 리스크를 가집니다.

이때 필요한 것은 더 좋은 프롬프트 하나가 아닙니다. 어떤 요청을 처리할 수 있는지, 어떤 액션은 승인이 필요한지, 언제 사람에게 넘겨야 하는지, 실패한 세션에서 무엇을 배울지에 대한 운영 시스템입니다.

OpenAI Presence 소개에서 눈에 띄는 부분도 여기에 있습니다. Presence는 voice와 chat 고객지원 에이전트를 대상으로 knowledge, system access, policy, guardrail, escalation rule, simulation, evaluation, Codex 기반 개선 루프를 함께 묶습니다. OpenAI는 자사 영어 전화 지원 채널에서 inbound issue의 75%를 human assistance 없이 처리했고, 10일 만에 human handoff를 15 percentage points 줄였다고 밝혔습니다.

원인: 에이전트 실패는 답변 품질보다 권한 설계에서 터진다

고객지원 에이전트가 틀린 답변을 하는 것도 문제지만, 더 큰 문제는 잘못된 행동을 하는 것입니다. 예를 들어 환불 불가 상품을 환불 처리하거나, 본인 확인 없이 개인정보를 말하거나, 분쟁 가능성이 있는 케이스를 자동 종료하면 비용이 커집니다.

그래서 고객지원 AI 에이전트는 “답변 생성기”가 아니라 “제한된 권한을 가진 작업자”로 설계해야 합니다. 사람 상담원도 권한과 매뉴얼 안에서 일합니다. AI도 마찬가지입니다.

실무에서 권한은 네 단계로 나누는 게 좋습니다.

• 답변만 가능: 정책 설명, 사용법 안내, 링크 제공
• 조회 가능: 주문 상태, 계정 플랜, 티켓 이력 확인
• 승인 후 실행: 환불, 크레딧 지급, 플랜 변경, 배송지 수정
• 자동 금지 및 사람 이관: 법적 분쟁, 고액 결제, 계정 탈취 의심, 민감정보 노출

이 구분 없이 tool을 붙이면 에이전트는 사용자 목표를 달성하려고 과한 액션을 시도합니다. 좋은 모델일수록 더 설득력 있게 잘못된 일을 할 수 있습니다.

해결: SOP를 prompt가 아니라 실행 정책으로 만든다

고객지원팀에는 보통 standard operating procedure, 즉 SOP가 있습니다. 많은 팀이 이 SOP를 길게 prompt에 붙입니다. 하지만 운영에서는 prompt보다 실행 정책이 더 중요합니다.

예를 들어 “환불 요청은 정책에 따라 처리한다”는 문장만으로 부족합니다. 시스템에는 다음 정보가 구조화되어 있어야 합니다.

• 환불 가능 기간
• 환불 불가 상품군
• 고객 등급별 예외
• 금액 기준 승인 단계
• 이미 사용한 쿠폰·크레딧 처리 방식
• 이관해야 하는 키워드와 상황
• 고객에게 보여줄 수 있는 설명과 내부 메모

에이전트는 이 정책을 읽고, tool을 호출하고, 필요하면 승인 요청을 만듭니다. 사람이 승인하면 실행하고, 거절하면 고객에게 대안을 안내합니다. Presence식 운영 설계의 포인트는 agent가 혼자 모든 것을 결정하게 두지 않는 것입니다.

simulation과 grader를 먼저 만든다

고객지원 AI는 배포 후에만 배울 수 있지만, 배포 전에도 충분히 실패를 재현해야 합니다. simulation은 “친절한 일반 질문”만 만들면 안 됩니다. 실제 운영에서 비용을 만드는 edge case를 넣어야 합니다.

테스트 세트 예시는 다음과 같습니다.

• 환불 기간 하루 초과 고객이 강하게 항의하는 경우
• 본인 확인에 실패했지만 계정 정보를 요구하는 경우
• 배송 사고와 결제 취소가 동시에 걸린 경우
• 사용자가 상담원 연결을 명시적으로 요구하는 경우
• 정책에는 없지만 VIP 고객이라 예외 검토가 필요한 경우
• 동일 사용자가 여러 채널에서 중복 문의하는 경우

grader는 답변의 자연스러움만 보면 안 됩니다. 올바른 정책을 적용했는지, 승인 없는 action을 실행하지 않았는지, 필요한 시점에 escalation했는지, 고객에게 내부 정책을 과도하게 노출하지 않았는지를 봐야 합니다.

launch 이후 개선 루프

운영이 시작되면 production session과 escalation이 가장 좋은 학습 데이터가 됩니다. 어떤 질문에서 사람이 자주 개입했는지, 어떤 tool call이 실패했는지, 어떤 답변이 CSAT를 낮췄는지 추적해야 합니다.

여기서 중요한 것은 자동 수정이 아니라 제안과 승인입니다. Codex나 coding agent가 정책 문서, prompt, tool schema, 테스트 케이스 업데이트를 제안할 수는 있습니다. 하지만 고객 정책을 바꾸거나 환불 기준을 바꾸는 것은 사람이 승인해야 합니다. 운영 가능한 AI 에이전트는 human-in-the-loop를 없애는 시스템이 아니라, 사람이 봐야 할 케이스를 정확히 줄이는 시스템입니다.

실행 체크리스트

• 고객지원 use case를 하나의 job으로 좁힙니다. “모든 CS 처리”로 시작하지 않습니다.
• 답변, 조회, 승인 후 실행, 자동 금지 액션을 권한표로 나눕니다.
• SOP를 자연어 prompt가 아니라 구조화된 policy와 tool rule로 변환합니다.
• 배포 전 simulation에 환불, 본인확인, 분쟁, VIP 예외, 상담원 요청을 포함합니다.
• grader는 정확도, 정책 준수, tool 사용, escalation 적절성을 따로 평가합니다.
• production session에서 human handoff 이유를 태깅합니다.
• 변경 제안은 자동 생성하더라도 배포는 사람 승인과 회귀 테스트 후 진행합니다.

출처: OpenAI, “Introducing OpenAI Presence”, 2026-07-22.