Claude 브라우저 사용 도구가 나왔습니다 — 회사가 먼저 정할 운영 경계

관리자 페이지 열어서 어제 주문 확인, 발주 사이트에서 단가 조회, 포털에 서류 올리기.
시스템끼리 연동(API)이 안 되어 있어서 사람이 브라우저를 열고 손으로 하는 업무들입니다.

이 구간은 시스템 API만 연결하는 방식으로는 자동화하기 어려웠습니다. 별도의 브라우저 실행기나 화면 자동화가 필요했기 때문입니다.

8월 19일, 그 화면 업무를 다룰 공식 API 도구가 생겼습니다.

하나. 화면 전체를 보고 조작하는 컴퓨터 사용 도구가 베타를 졸업하고 정식(GA)이 됐습니다.
바탕화면부터 설치형 프로그램까지, 모니터에 보이는 모든 것을 다루는 쪽입니다.

둘. 브라우저 사용 도구가 새로 출시됐습니다. 데스크톱 전체가 아니고, 브라우저 창 안에서만 움직이는 도구입니다.

업무가 브라우저 안에서 끝나는 경우 후보는 후자입니다.
관리자 페이지, 발주 사이트, 관공서 포털처럼 웹페이지 안에서 읽고 입력하는 작업을 다룹니다.

정식(GA)은 컴퓨터 사용 도구를 베타 헤더 없이 Claude API에서 쓸 수 있게 됐다는 뜻입니다. 브라우저 사용 도구도 GA로 출시됐고, 두 도구 모두 Claude Fable 5·Mythos 5·Opus 5·Sonnet 5·Opus 4.8을 지원합니다.

판별 기준은 한 줄입니다.
그 시스템에 연동(API)이 있는가.

연동(API)이 있으면 먼저 그 경로의 권한·오류 처리·비용을 확인합니다. 화면 조작은 연동이 없거나 부족한 구간에서 검토할 후보입니다.

연동이 없으면 별도의 브라우저 실행기나 RPA를 붙여야 했습니다.
오래된 사내 시스템, 거래처 발주 포털, 관공서·은행 사이트가 대표 사례입니다.

리셀 사업을 하시는 이 대표님의 일과에는 경쟁사 홈페이지 다섯 곳을 열어 가격을 확인하는 일이 들어 있었습니다.
연동 여부부터 따로 확인해야 하는, 생김새도 제각각인 홈페이지 다섯 개입니다.

이런 화면 업무를 종이에 적어보는 것이 시작입니다. 매주 몇 번, 한 번에 몇 분짜리인지까지 적으면 자동화 후보의 우선순위를 비교할 수 있습니다.

화면 자동화에는 좌표·스크린샷 중심 방식과 페이지 구조를 읽는 방식이 함께 쓰입니다.
좌표만 기억하는 구현은 화면 배치가 바뀌면 취약할 수 있습니다.

새 도구는 접근성 트리·요소·폼·탭 같은 페이지 구조와 스크린샷·좌표를 함께 다룹니다. 공식 문서의 표현은 다음과 같습니다.
"reading the page itself (its accessibility tree, elements, forms, and tabs)"

페이지 구조를 요소 참조로 다룰 수 있어 좌표만 고정하는 구현보다 화면 변화를 다시 읽을 선택지가 늘어납니다. 다만 사이트 구조 변경과 차단 위험이 사라지는 것은 아닙니다.

좌표만 고정한 스크립트는 화면 배치가 바뀌면 멈출 수 있습니다.
요소 참조와 픽셀 정보를 함께 쓰는 구현은 바뀐 화면을 다시 읽을 선택지가 늘어납니다.

물론 만능 열쇠는 아닙니다. 로그인 정책이나 사이트 이용약관 같은 제약은 도구가 바뀌어도 그대로 남습니다.

좌표만 기억하면 화면 변화에 취약합니다.
요소 참조와 화면 픽셀을 함께 쓰면 대응할 선택지가 늘어납니다.

브라우저 사용 도구는 고객의 앱이 호스트한 브라우저에서 실행됩니다. 공식 문서는 브라우저와 실행기를 전용 컨테이너나 가상 머신에 두고, 자격 증명이 없는 새 프로필과 최소 권한으로 운영하라고 권고합니다.

접속 가능한 호스트는 네트워크 수준의 허용 목록으로 제한하고, 리디렉션 뒤 주소까지 다시 확인해야 합니다. 루프백·사설망은 업무상 꼭 필요한 경우가 아니면 막는 편이 기준입니다.

페이지의 제목·주소·보이는 문구까지 신뢰할 수 없는 입력으로 취급해야 합니다. 자바스크립트 실행과 파일 업로드는 필요할 때만 켜고, 다운로드는 실행기에서 별도로 기록합니다.

구매·계정 변경·메시지 발송·약관 동의처럼 결과가 밖으로 남는 동작은 호출 직전에 사람이 확인해야 합니다. 조회 범위와 밖으로 나가는 동작을 같은 권한으로 묶지 않는 이유입니다.

이 도구 자체는 개발자용 부품입니다. 대표님이 오늘 내려받아 설치하는 앱이 아니고, 쓰고 계신 AI 도구와 자동화 시스템 안에 이 능력이 깔리는 방식입니다.

대표가 직접 코드를 짤 필요는 없지만, 브라우저 실행기를 만드는 개발 작업은 필요합니다.
대표가 먼저 정할 것은 세 가지 운영 결정입니다.

업무 목록에는 연동이 안 되는 화면 업무를 적습니다.
오래된 사내 시스템, 거래처 포털, 관공서 사이트 순으로 훑으면 빠르게 모입니다.

허용 경계는 문장으로 적어야 합니다. '조회는 어느 사이트든, 업로드는 이 두 곳만, 결제 화면은 접근 금지'처럼요.

확인 자리는 업무마다 하나씩 둡니다. 에이전트가 채워둔 발주 수량을 사람이 보고 승인한 뒤에 제출되는 식입니다.

공식 API는 8월 19일 출시됐습니다.
회사 운영에 올리기 위한 격리와 검수 설계는 이제 시작입니다.

정리

맡길 화면 업무를 고르는 네 가지 질문

1. 매주 같은 사이트에 들어가 같은 화면을 열고 있습니까?
   그 화면이 1순위 후보입니다.

2. 그 시스템에 연동(API)이 있습니까?
   있으면 연동이 먼저입니다. 화면 조작은 연동 없는 곳의 도구입니다.

3. 밖으로 나가는 동작이 어디에 있습니까?
   다운로드·업로드·제출 지점을 표시해야 경계를 그을 수 있습니다.

4. 틀렸을 때 누가, 어디서 잡습니까?
   확인 자리가 없는 업무는 아직 맡길 때가 아닙니다.