Claude computer use GA와 browser use 출시: 에이전트 UI 자동화가 바뀌는 지점

Claude의 computer use tool이 Claude API에서 beta를 벗어나고, browser use tool이 새로 출시됐습니다. 둘 다 20260801 toolset으로 제공되며 Claude Fable 5, Mythos 5, Opus 5, Sonnet 5, Opus 4.8에서 사용할 수 있습니다. 겉으로 보면 “AI가 화면을 조작한다”는 익숙한 이야기지만, 개발자 관점에서는 중요한 분기점이 생겼습니다. 데스크톱 전체를 조작하는 방식과 애플리케이션이 호스팅하는 브라우저 viewport를 조작하는 방식이 분리됐기 때문입니다.

검색 의도는 “Claude browser use와 computer use 차이”, “프로덕션 UI 에이전트에 어떤 도구를 써야 하나”입니다. 답은 간단하지 않습니다. 내부 QA 자동화, 고객 지원 보조, 백오피스 작업, 웹앱 테스트는 요구하는 권한 경계가 다릅니다. 이번 업데이트는 그 경계를 더 명확하게 나누는 신호입니다.

computer use GA가 의미하는 것

computer use tool은 전체 컴퓨터 환경을 다루는 쪽에 가깝습니다. 릴리스 노트에 따르면 기존 computer_20251124에서 computer_toolset_20260801로 넘어가며 beta header가 필요 없어졌고, 여러 action을 한 turn에서 처리하는 batch actions, 기본 zoom 활성화, member별 configs가 포함됩니다.

GA의 의미는 “실험이 끝났다”가 아닙니다. 프로덕션 적용을 검토할 수 있을 정도로 API 모양과 운영 기준이 안정화됐다는 뜻에 가깝습니다. 하지만 이 도구는 여전히 권한이 큽니다. 로컬 앱, 브라우저, 파일 선택 창, 운영자 콘솔을 모두 만질 수 있다면 승인 흐름과 감사 로그 없이는 위험합니다.

batch actions는 성능 측면에서 매력적입니다. 클릭 하나, 입력 하나마다 모델 왕복을 하지 않아도 되기 때문입니다. 반대로 실패 지점 추적은 어려워집니다. 5개의 action 중 세 번째가 잘못된 요소를 눌렀다면 롤백과 재현이 필요합니다.

browser use가 따로 나온 이유

browser use tool은 애플리케이션이 호스팅하는 브라우저 viewport 안에서 동작합니다. 접근성 트리, 요소, form, tab을 읽고 element reference를 다루며, 다운로드 리포팅과 선택적 파일 업로드를 제공합니다. 이 차이가 큽니다.

웹 제품에 AI 조작을 붙일 때는 대개 전체 데스크톱 권한이 필요 없습니다. 필요한 것은 현재 브라우저 탭의 DOM에 가까운 정보, 사용자가 허용한 파일 업로드, form 입력, tab 관리입니다. browser use는 이 범위를 좁혀 줍니다. 권한이 좁아지면 테스트도 쉬워지고, 감사 로그도 명확해집니다.

예를 들어 SaaS 관리자 콘솔에서 “지난달 미결제 고객 목록을 찾아 CSV로 내려받아 줘”라는 작업이 있다고 합시다. computer use로도 할 수 있습니다. 하지만 browser use로 구현하면 조작 범위가 해당 웹앱 viewport로 제한되고, 어떤 form에 어떤 값이 들어갔는지 더 구조적으로 기록할 수 있습니다.

어떤 작업에 어떤 도구를 쓸까

웹앱 내부 작업이면 browser use를 먼저 검토하는 것이 좋습니다. 폼 입력, 테이블 필터, 설정 페이지 이동, 리포트 다운로드, QA 시나리오 실행은 browser use가 맞습니다. 반대로 브라우저 밖의 네이티브 앱, 터미널, 파일 시스템 UI, 여러 애플리케이션 간 작업은 computer use가 필요합니다.

중요한 기준은 “사용자가 기대한 작업 범위와 도구 권한 범위가 얼마나 일치하는가”입니다. 권한이 넓다고 좋은 것이 아닙니다. 좁은 도구로 충분한 작업에 넓은 도구를 쓰면 보안 검토와 사고 대응 비용이 커집니다.

제품 기능으로 제공한다면 다음처럼 나눌 수 있습니다.

• 고객이 보는 웹앱 작업: browser use 우선
• 내부 운영자가 쓰는 백오피스: browser use + 명시 승인
• 개발자 로컬 환경 자동화: computer use 제한 적용
• QA 회귀 테스트: browser use로 deterministic fixture 구성
• 여러 앱을 오가는 업무 자동화: computer use, 단 세션 녹화와 감사 로그 필수

기존 통합에서 깨질 수 있는 부분

기존 computer use beta를 쓰던 팀은 request shape와 tool handling 변경을 봐야 합니다. beta header 제거만으로 끝나지 않습니다. action 묶음 처리, zoom 기본값, configs 구조 때문에 래퍼와 이벤트 파서가 달라질 수 있습니다.

UI 자동화는 실패가 눈에 보이는 영역이라 테스트가 더 중요합니다. “버튼 클릭 성공”만 보면 안 됩니다. 잘못된 버튼을 클릭하지 않았는지, 파일 업로드가 의도된 파일만 허용하는지, 다운로드된 결과가 기대한 타입인지, 탭 전환 후 stale element를 잡지 않는지 확인해야 합니다.

browser use는 접근성 트리를 활용하므로 프론트엔드 접근성 품질이 곧 에이전트 품질로 이어집니다. 버튼 이름이 Submit만 반복되거나, form label이 없거나, 테이블 헤더가 불명확하면 AI 에이전트도 헷갈립니다. 접근성 개선이 단순 장애인 지원을 넘어 에이전트 자동화 안정성까지 좌우하는 셈입니다.

제품 설계에서 봐야 할 운영 지표

UI 에이전트를 운영할 때는 모델 토큰보다 작업 지표를 봐야 합니다. 평균 action 수, 세션 성공률, 중간 승인 요청률, 위험 action 차단률, 재시도 횟수, 사용자 개입률이 더 중요합니다.

예를 들어 browser use로 고객 지원 에이전트를 만들었다면 “응답 시간”보다 “잘못된 고객 계정에 접근한 시도 0건”이 우선입니다. computer use로 내부 업무를 자동화한다면 “완료 속도”보다 “명령 범위 이탈 감지”가 우선입니다.

실행 체크리스트

• 웹앱 안에서 끝나는 작업은 browser use부터 검토합니다.
• 기존 computer use beta 통합은 20260801 toolset의 request shape와 tool handling을 별도 브랜치에서 점검합니다.
• batch actions를 켤 때는 action별 로그와 실패 지점 표시를 남깁니다.
• 파일 업로드와 다운로드는 허용 확장자, 크기, 저장 위치를 명시합니다.
• 프론트엔드 접근성 label, role, table header를 정리합니다.
• 사용자 승인 없이 결제, 삭제, 권한 변경, 외부 전송을 실행하지 못하게 막습니다.
• 세션 녹화 또는 이벤트 로그를 남겨 사고 재현이 가능하게 합니다.
• 성공률보다 위험 action 차단률과 사용자 개입률을 같이 봅니다.

이번 업데이트의 핵심은 “AI가 클릭을 더 잘한다”가 아닙니다. 에이전트 UI 자동화를 데스크톱 권한과 브라우저 권한으로 나눠 설계할 수 있게 됐다는 점입니다. 제품에 붙일수록 좁은 권한, 명확한 로그, 테스트 가능한 viewport가 중요합니다.