GitHub Copilot 컴퓨터 사용 공개 프리뷰: 데스크톱 앱까지 자동화하는 코딩 에이전트의 운영 과제

GitHub가 Copilot의 computer use 기능을 공개 프리뷰로 열었다. 적용 대상은 macOS와 Windows의 Copilot CLI, GitHub Copilot 데스크톱 앱이다. 이제 Copilot은 코드 에디터 안에서 제안만 하는 도구가 아니라, 접근성 API와 화면 정보를 바탕으로 데스크톱 앱 내용을 읽고, 버튼을 누르고, 텍스트를 입력하고, 스크롤하거나 드래그할 수 있다.

이 업데이트가 중요한 이유는 단순히 ‘AI가 화면을 조작한다’가 아니다. 개발 조직의 업무 자동화 범위가 API, CLI, MCP 서버가 있는 시스템에서 GUI-only 또는 레거시 소프트웨어까지 넓어진다는 점이 핵심이다. 사내 비용 정산 페이지, 오래된 관리자 콘솔, 벤더가 API를 제공하지 않는 데스크톱 도구는 지금까지 자동화하기 어려웠다. GitHub는 이 영역을 Copilot 에이전트의 작업 공간 안으로 끌어오려 한다.

검색 의도는 분명하다. 개발자는 “GitHub Copilot computer use”, “Copilot 데스크톱 앱 자동화”, “AI 에이전트 GUI 자동화”, “MCP 없는 앱 자동화” 같은 키워드로 이 기능이 무엇을 바꾸는지 찾게 된다. 실제로 중요한 질문은 기능 사용법보다 운영 기준이다. 어떤 앱을 허용할 것인가, 승인 흐름은 충분한가, 조직 관리자는 어떻게 끌 수 있는가, 로그는 어디까지 남길 것인가가 더 중요하다.

무엇이 공개 프리뷰로 열렸나

GitHub 설명에 따르면 computer use는 Copilot CLI와 GitHub Copilot 앱에서 사용할 수 있다. Copilot은 앱의 접근 가능한 콘텐츠와 시각적 컨텍스트를 읽고, 컨트롤 클릭, 텍스트 입력과 수정, 키 입력, 스크롤, 드래그, 앱 간 워크플로우 이동을 수행할 수 있다. 예시로는 Safari에서 비용 정산 흐름을 진행하는 데모가 제시됐다.

사용자는 Copilot CLI에서 /computer on으로 기능을 켤 수 있고, /computer show로 상태를 확인하며, /computer off로 비활성화할 수 있다. 데스크톱 앱에서는 Settings의 Computer Use 항목에서 켠다. macOS에서는 Accessibility와 Screen Recording 권한 설정 과정을 안내한다. 조직 관리 설정으로 기능을 비활성화할 수 있다는 점도 명시됐다.

프리뷰 단계에서 Linux는 지원되지 않는다. 이 제한은 의미가 있다. 개발자 자동화라면 Linux 서버나 컨테이너를 먼저 떠올리기 쉽지만, 이번 기능의 목표는 서버 자동화가 아니라 사람이 쓰는 데스크톱 업무 화면이다. 즉 브라우저, 로컬 앱, 사내 툴, 프레젠테이션, 문서 작성 앱처럼 사람이 마우스로 처리하던 흐름을 겨냥한다.

왜 MCP와 API 자동화만으로는 부족한가

최근 AI 에이전트 통합은 MCP와 REST API 노출 중심으로 움직였다. 이 방식은 안전하고 감사하기 쉽다. 도구 이름, 파라미터, 응답 스키마가 명확하기 때문이다. 그러나 현실의 업무 시스템은 모두 API를 제공하지 않는다. 특히 기업 내부에는 오래된 웹앱, 벤더 SaaS, 데스크톱 전용 프로그램, 사내 결재 시스템이 남아 있다.

이런 시스템에 자동화를 붙이려면 지금까지는 브라우저 자동화 스크립트, RPA, Selenium, Playwright, 매크로 도구가 필요했다. 문제는 유지보수다. 화면 구조가 바뀌면 스크립트가 깨지고, 예외 상황을 모두 코드로 작성해야 한다. 반면 computer use형 에이전트는 화면을 해석하고 목적 기반으로 조작한다. 버튼 위치가 조금 바뀌어도 “다음 단계로 진행”이라는 목표를 유지할 수 있다.

물론 이것이 기존 자동화를 대체한다는 뜻은 아니다. 안정적인 API가 있다면 API를 쓰는 편이 낫다. computer use는 API가 없거나, 도구 연결 비용이 너무 크거나, 사람이 처리하던 임시 업무를 자동화할 때 의미가 있다. 운영 환경에서는 “API 우선, MCP 다음, GUI 조작은 마지막 수단”이라는 기준이 필요하다.

승인 흐름은 기능의 핵심이다

GitHub는 사용자가 통제권을 유지한다고 설명한다. Copilot은 앱을 제어하기 전에 승인을 요청한다. 사용자는 항상 허용한 앱을 검토하거나 재설정할 수 있다. 이 부분은 단순한 UX 안내가 아니라 안전 장치다. 데스크톱 제어는 파일, 브라우저 세션, 사내 페이지, 메시징 앱, 결제 화면에 접근할 수 있기 때문이다.

개발팀이 이 기능을 켤 때는 승인 단위를 정해야 한다. “앱 전체 허용”은 편하지만 위험하다. 예를 들어 브라우저를 허용하면 Copilot이 접근할 수 있는 범위가 너무 넓어진다. 반대로 매번 클릭 승인을 요구하면 자동화 가치가 줄어든다. 실무적으로는 앱, 작업 유형, 도메인, 데이터 민감도에 따라 허용 정책을 나누는 편이 낫다.

예를 들어 로컬 PDF 뷰어에서 문서 내용을 요약하는 작업은 낮은 위험으로 볼 수 있다. 반면 비용 정산, 고객 데이터 조회, 관리자 콘솔 변경, 배포 설정 수정은 높은 위험이다. 높은 위험 작업은 Copilot이 클릭하기 전에 사용자가 화면과 의도를 확인해야 한다.

개발자 업무에서 바로 쓸 수 있는 영역

가장 실용적인 사용처는 API가 없는 반복 작업이다. 예를 들어 QA 엔지니어가 레거시 데스크톱 앱에서 같은 설정 조합을 여러 번 바꾸며 결과를 확인해야 한다면 computer use가 시간을 줄일 수 있다. 기술지원 담당자가 사내 콘솔에서 고객 상태를 확인하고 템플릿 문서를 갱신하는 흐름도 후보가 된다.

개발자는 프레젠테이션 업데이트, 릴리즈 노트 정리, 브라우저 알림 요약, GUI 기반 설정 변경 같은 주변 업무에서도 쓸 수 있다. GitHub 예시는 “원하는 결과, 관련 앱, 중요한 제약 조건을 구체적으로 설명할수록 잘 작동한다”고 안내한다. 이 조언은 중요하다. 에이전트에게는 “정리해줘”보다 “Safari의 알림 페이지에서 보안 관련 항목만 읽고, Numbers 문서의 ‘이번 주 리스크’ 표에 3줄로 정리해줘”가 훨씬 안전하다.

하지만 장시간 방치형 자동화는 피해야 한다. computer use는 화면 상태에 의존한다. 팝업, 세션 만료, 권한 요청, 네트워크 오류, 예상치 못한 모달 하나로 흐름이 바뀔 수 있다. 처음에는 짧고 되돌리기 쉬운 작업부터 적용해야 한다.

조직 관리자가 확인해야 할 지점

기업 환경에서는 개인 개발자가 흥미로 켜는 기능으로 끝나지 않는다. 화면 제어 기능은 보안팀과 플랫폼팀의 관리 대상이 된다. 조직 관리 설정으로 비활성화할 수 있다는 점은 최소 조건이다. 여기에 더해 어떤 그룹에 허용할지, 어떤 앱은 금지할지, 작업 로그를 어떻게 남길지 정책이 필요하다.

특히 주의할 앱은 브라우저, 터미널, 비밀번호 관리자, 사내 관리자 콘솔, 메신저, 이메일 클라이언트다. Copilot이 화면을 읽을 수 있다는 것은 사용자가 보고 있는 민감 정보도 컨텍스트에 들어갈 수 있다는 뜻이다. 접근성 권한과 화면 녹화 권한은 강력하다. 허용 전 교육과 가이드가 필요하다.

운영 로그도 중요하다. 최소한 어떤 사용자가 어떤 앱을 언제 허용했는지, Copilot이 어떤 작업 의도를 받았는지, 어떤 고위험 조작 전에 승인을 받았는지 남겨야 한다. 다만 화면 전체를 무분별하게 저장하면 오히려 개인정보와 비밀정보 저장소가 된다. 감사 가능성과 데이터 최소화 사이의 균형을 잡아야 한다.

Copilot computer use 도입 체크리스트

• API나 MCP로 처리 가능한 작업인지 먼저 확인한다. 가능하면 화면 조작보다 API를 쓴다.
• 처음에는 읽기 중심 작업과 되돌리기 쉬운 작업만 허용한다.
• 브라우저, 터미널, 비밀번호 관리자, 관리자 콘솔은 별도 고위험 앱으로 분류한다.
• 조직 관리 설정에서 기능을 전체 허용하지 말고 파일럿 그룹부터 연다.
• 사용자가 작업 목적, 앱, 제약 조건을 구체적으로 쓰도록 템플릿을 만든다.
• macOS 접근성·화면 녹화 권한을 부여하기 전 데이터 노출 범위를 설명한다.
• 항상 허용한 앱 목록을 정기적으로 검토하고 불필요한 허용을 해제한다.
• 고위험 작업은 실행 전 화면 확인과 사용자 승인을 요구한다.
• 성공률, 중단 원인, 사용자 개입 횟수를 기록해 자동화 가치가 있는지 판단한다.
• 장시간 무감독 실행보다 짧은 세션형 자동화로 시작한다.

출처: GitHub Blog Changelog, “GitHub Copilot can now interact with desktop apps with computer use”, 2026년 10월 1일.