밤새 돌아간 자동화가 얼마를 썼는지, 이제 줄마다 나옵니다

밤새 무언가가 돌아갑니다.
아침에 결과물은 도착해 있고, 그게 얼마를 쓰고 왔는지는 어디에도 적혀 있지 않습니다.

달이 끝나면 청구서에 총액 한 줄이 뜹니다. 그 한 줄 안에 잘 도는 자동화와 헛도는 자동화가 같이 들어 있습니다.

그래서 비용이 오르면 판단이 거칠어집니다. 어느 걸 끌지 모르니 다 끄자는 말이 나옵니다.

회사에 자동화를 하나만 두는 경우는 드뭅니다.
시세를 훑는 것, 문의를 정리하는 것, 보고서를 쓰는 것이 각자 다른 주기로 돕니다.

상담에서도 대표가 세는 단위는 처음부터 여러 개입니다.

네 줄이 동시에 돕니다. 청구서는 그 넷을 합쳐 한 줄로 보여 줍니다.

총액은 어느 줄을 손볼지를 알려 주지 않습니다.

8월 25일 공개된 Claude Code 2.1.243 변경 기록에 한 줄이 붙었습니다.

"Added a Loops breakdown to `/usage`: per-loop run count, total tokens, tokens per run, and last run, so runaway or chatty `/loop` tasks are easy to spot"

루프마다 네 가지가 뜹니다. 실행 횟수, 총 토큰, 1회당 토큰, 마지막 실행입니다.

원문에 적힌 목적은 두 단어입니다. runaway 는 끝나지 않고 되도는 것, chatty 는 한 번에 말이 너무 많은 것입니다.

총 토큰이 큰 줄이 반드시 잘못된 줄은 아닙니다. 일의 규모가 크면 값도 큽니다.

그래서 총 토큰은 혼자 읽지 않습니다. 옆 칸의 횟수와 1회당 값을 같이 봐야 뜻이 생깁니다.

1회당 토큰은 한 번 도는 데 드는 값입니다.
이 값이 유독 큰 줄이 있으면 매번 두꺼운 것을 처음부터 다시 읽고 있다는 뜻입니다.

미팅을 마치고 온 대표가 가장 먼저 손대겠다고 한 자리도 같은 곳이었습니다.

지시문 파일을 정리하는 일과 토큰을 줄이는 일이 같은 자리에 있습니다. 사람은 한 번 읽고 마는 문서를 기계는 돌 때마다 다시 읽습니다.

같은 릴리스에 캐시를 더 오래 붙잡아 두는 설정도 함께 들어왔습니다.

"Added `promptCacheTtl` and `subagentPromptCacheTtl` settings so API-key and cloud-provider users can keep a 1-hour prompt cache on the main conversation while subagents stay at 5 minutes"

같은 것을 다시 읽더라도 값을 덜 물리는 길이 하나 더 생긴 셈입니다. 어느 줄에 붙일지는 표를 봐야 정해집니다.

1회당 값이 큰 줄부터 지시문 파일을 열어 보십시오.

실행 횟수는 그 줄이 그동안 몇 번 돌았는지를 적습니다.
대표가 머리로 세어 둔 숫자와 어긋나면 거기서부터 봅니다.

주기는 처음에 감으로 정해 놓고 그대로 굳는 경우가 많습니다.

하루 두 번으로 정해 둔 자리입니다. 이 숫자를 손대면 그 줄의 총 토큰도 같이 움직입니다.

반대로 아무도 정한 적 없는 횟수가 찍혀 있을 때가 있습니다. 조건을 못 만나 스스로 다시 깨어나는 줄입니다.

횟수가 튀는 줄은 끝나지 않고 되돌고 있을 수 있습니다.

마지막 실행은 그 줄이 언제 마지막으로 돌았는지를 적습니다.
어제 돌았어야 할 줄에 지난주 날짜가 앉아 있으면 그건 요금 문제가 아닙니다.

돈을 안 쓰는 줄이 제일 안전해 보입니다. 무인으로 도는 것들 중에는 조용히 멈춘 채로 몇 주를 보내는 것도 있습니다.

구축할 때는 이 확인을 사람이 손으로 합니다.

붙이는 동안에는 사람이 지켜보고 있습니다. 넘겨받고 몇 달이 지나면 그 눈이 없어집니다.

표에 날짜가 적히면 그 눈을 대신할 것이 하나 생깁니다. 결과물이 안 왔다는 사실을 사람이 알아차리기 전에 줄이 먼저 말해 줍니다.

사용량 0인 줄이 그 달 가장 비싼 줄일 수 있습니다.

정리

경고 신호

• 사람 없이 도는 자동화가 몇 개인지 대표가 바로 말하지 못한다

• 비용이 오르면 어느 걸 끌지 정하지 못하고 전부 줄이자는 말이 나온다

• 주기를 처음 정해 놓은 뒤로 한 번도 바꾼 적이 없다

• 결과물이 안 와도 며칠 지나서야 알아차린다

좋은 신호

• 자동화마다 1회당 토큰을 눈으로 확인한 적이 있다

• 횟수가 예상과 다른 줄을 찾아 간격을 고쳐 봤다

• 지시문 파일을 줄여서 값이 내려가는 것을 확인했다

• 마지막 실행 날짜를 들여다보는 사람이 정해져 있다

표를 열기 전에 정할 네 가지

1. 지금 우리 회사에서 사람 없이 도는 것은 몇 개입니까?
   표에 뜨는 줄과 대표가 아는 줄이 맞아야 판독이 시작됩니다.

2. 그중 하루에 여러 번 도는 것은 무엇입니까?
   실행 횟수가 큰 줄이 그 달의 총 토큰을 만듭니다.

3. 1회당 토큰이 가장 큰 줄의 지시문은 누가 씁니까?
   돌 때마다 다시 읽히는 문서라 고칠 사람이 있어야 값이 내려갑니다.

4. 마지막 실행 날짜는 누가 봅니까?
   멈춘 자동화는 아무 신호도 보내지 않습니다.

자주 묻는 질문

Q. 자동화가 각각 얼마를 썼는지 어디서 봅니까?

Claude Code 2.1.243 변경 기록은 `/usage` 에 Loops breakdown 이 추가됐다고 적습니다. 루프마다 실행 횟수와 총 토큰, 1회당 토큰, 마지막 실행이 뜨고, 되돌거나 말이 많은 `/loop` 작업을 찾기 쉽게 하려는 것이라고 원문에 나와 있습니다.

Q. 표에 원화 금액도 같이 나옵니까?

변경 기록에 적힌 네 칸은 실행 횟수와 토큰, 마지막 실행 시각입니다. 금액 쪽은 같은 릴리스의 다른 항목에 있습니다. `modelPricing` 관리 설정을 쓰면 조직이 계약한 모델 단가와 할인율이 정가 대신 `/cost` 와 상태 표시줄, 텔레메트리 비용 수치에 적용된다고 적혀 있습니다.

Q. 1회당 토큰이 큰 줄은 무엇부터 손봅니까?

그 줄이 돌 때마다 다시 읽는 문서를 먼저 엽니다. 지시문이 길수록 매 실행에 같은 분량이 얹힙니다. 같은 릴리스에 들어온 `promptCacheTtl` 과 `subagentPromptCacheTtl` 은 본 대화의 프롬프트 캐시를 1시간까지 유지하고 서브에이전트는 5분에 두는 설정이라, 반복해 읽히는 부분의 값을 낮추는 데 쓰입니다.

Q. 마지막 실행이 오래된 줄은 어떻게 합니까?

끄기 전에 왜 멈췄는지부터 확인합니다. 사용량이 0에 가깝다는 것은 비용이 안 든다는 뜻이기도 하지만, 하기로 한 일이 몇 주째 안 되고 있다는 뜻이기도 합니다. 그 줄이 만들어 주던 결과물을 지금 누가 대신 만들고 있는지 물어보면 답이 나옵니다.