AI 자동화 사고는 여기서 터진다 — 사람과 AI 사이 4가지 패턴

에이전트와 사람이 같은 워크플로우에 들어가면, 그 사이 일이 어떻게 흐를지 잡아야 합니다.

이 자리를 Human-Agent Handoff라고 부릅니다. 워크플로우 성패의 90%가 여기서 결정돼요. 두 가지 실패 모드, 4가지 트리거 패턴, 그리고 AWC 팀(사람 4 + 에이전트 4)이 매일 쓰는 방식을 보여드릴게요.

"

AWC가 정의한 AX 4 Pillar(에이전틱 워크플로우 실행 프레임 — 후보 식별·분해·에이전트 배치·인계·축적) 중 세 번째 단계 Human-Agent Handoff가 이 글의 주제입니다.

인계란 무엇인가

분해가 단계 쪼개기, 배치가 누가 할지 정하기라면, 인계는 그 사이 일이 어떻게 흐르는지 정의하는 일입니다.

답해야 할 질문 셋:

• 언제 사람을 부르는가 (트리거)
• 사람에게 무엇을 함께 넘기는가 (컨텍스트·권장 결정)
• 사람의 결정이 에이전트로 어떻게 돌아오는가 (피드백 루프)

이 세 자리가 비어있으면 자동화는 작동을 멈춥니다.

두 가지 실패 모드

핸드오프를 잘못 짜면 양극단 중 하나에 빠집니다.

1. Over-automation — 사람이 다 떠넘긴다

에이전트에게 다 맡기고 사람이 손을 뗍니다. 형식 검증만 하던 에이전트가 어느 날 의뢰인에게 잘못된 법률 의견을 보냅니다. 카드 결제 한도를 자동 승인하다 사기 거래 100건이 통과합니다. 무인 자동화는 사고가 납니다.

2. Under-automation — 사람이 다 가져간다

에이전트가 후보를 만들어 줘도 사람이 매번 처음부터 다시 검토합니다. 결국 자동화가 시간 절감 0. 이 자리에선 차라리 에이전트를 안 쓴 게 나아요.

정답은 둘 사이 어딘가입니다. 그 자리를 정확히 박는 게 핸드오프 디자인이에요.

핸드오프 4 트리거 — 언제 사람을 부르나

언제 에이전트가 사람을 부를지 결정하는 4가지 패턴입니다. 한 워크플로우 안에 여러 트리거가 동시에 박힐 수 있어요.

1. Confidence-based

에이전트의 확신도(confidence score)가 임계값 미만일 때 사람 호출. "이 의뢰인 문의가 단순 문의 90% / 법률 판단 10%로 분류됐는데, 60% 미만이면 무조건 변호사에게."

2. Threshold-based

거래액·중요도·영향 범위가 한도를 넘으면 자동 → 사람 전환. "100만원 이하 환불은 자동, 그 이상은 운영자 승인."

3. Risk-based

도메인 자체가 사람 결정이어야 하는 자리. 외부 발송·법적 책임·재무 결정이 대표적. "의뢰인에게 보내는 모든 외부 메일은 변호사 검토 후 발송."

4. Time-based

N시간 내 처리 안 되면 자동 에스컬레이션. "지원 티켓이 4시간 내 응답 없으면 매니저에게 자동 통보."

"

Anthropic「Building Effective AI Agents」가 이 자리를 한 줄로 정리했어요. "신뢰할 수 있는 에이전트는 자율성과 인간 감독의 균형에서 나온다." 4가지 트리거가 그 균형을 박는 도구입니다.

AWC 팀 사례 — 사람 4 + 에이전트 4가 매일 인계하는 법

추상은 그만. 저희 팀이 매일 어떻게 굴러가는지 보여드릴게요.

저희는 사람 4명 + 에이전트 4명으로 운영됩니다. 사람은 판단하고 결정합니다. 에이전트는 실행하고 모니터링합니다. 이게 저희가 고객에게 세팅해주는 것의 원형이에요.

4가지 트리거가 다 살아있습니다. Confidence·Threshold·Risk·Time 어느 하나도 빠지면 사고나 비효율이 어딘가에서 터집니다.

내부 운영 원칙(BRXCE OS) 7개 중 두 개가 핸드오프와 직결돼요. 6번 — 병목 선제 대응 (사람이 병목일 때 에이전트가 선택지를 제공). 7번 — 맥락 보완 (불명확한 요청은 원문 확인하고 대안 제시). 이 두 원칙이 핸드오프의 양방향 흐름을 만듭니다.

자주 묻는 질문

Confidence threshold는 몇 %로 잡아야 하나요?

도메인 위험도에 따라. 의뢰인 외부 발송이면 95%+, 내부 분류는 70%+ 정도. 처음엔 보수적으로(높게) 잡고 운영하면서 조금씩 내리세요. 거꾸로는 위험합니다.

사람의 결정을 에이전트가 학습하나요?

학습은 축적 단계에서 깊이 봅니다. 핵심만 말씀드리면, 사람의 결정은 의사결정 로그에 컨텍스트와 함께 저장되고, 에이전트가 다음 비슷한 케이스에서 그 로그를 참조합니다.

핸드오프 알림은 어떻게 받나요?

도메인마다 달라요. AWC는 Slack + 옵시디언. 카톡·이메일·내부 대시보드 어디든 가능합니다. 중요한 건 사람이 즉시 응답할 수 있는 채널을 한 곳으로 모으는 것.

4가지 트리거를 한 워크플로우에 다 깔아도 되나요?

==깔아야 합니다.== 한 트리거만 깔린 워크플로우는 다른 자리에서 사고나 비효율이 새요. AWC 4+4 운영 매트릭스도 4 트리거가 다 살아있는 구조예요. 다만 트리거 우선순위는 도메인마다 다릅니다 — 의뢰인 응대는 Risk가 1번, SaaS 운영은 Threshold가 1번인 식이에요.

사람이 즉시 응답하지 못하면 어떻게 되나요?

Time-based 트리거를 백업으로 세팅하세요. 1차 알림 30분 후 응답 없으면 → 2차 알림 다른 사람에게 자동 에스컬레이션. ==한 사람만 의존하는 핸드오프는 핸드오프가 아니라 병목이에요.== 응답 SLA(예: 2시간)을 명시하고 그 시간 내 응답 없으면 다음 단계 자동 진행 정책도 옵션입니다.

핸드오프 도입 후 사람이 더 바빠지지는 않나요?

잘 짜면 반대로 줄어듭니다. 트리거가 정확하면 사람은 *결정해야 할 자리만* 호출돼요. 거꾸로 잘못 짜면 모든 결정에 사람이 호출되어 Under-automation이 됩니다. 한 달 운영하면서 트리거 임계값을 조정하는 작업이 필수예요.

직원 4~5명 작은 회사도 사람 N + 에이전트 N 운영이 가능한가요?

가능하고 효과가 큽니다. AWC도 사람 4 + 에이전트 4 구조예요. ==규모가 작을수록 한 사람이 여러 자리에서 핸드오프 받기 때문에 트리거 정확도가 더 중요해집니다.== 알림이 한 사람에게 몰리지 않게 자리별 담당을 명시하는 게 작은 회사 핸드오프의 핵심이에요.

4가지 트리거 중 어떤 것을 가장 먼저 깔아야 하나요?

==Risk-based부터 깔으세요.== 외부 발송·법적 책임·재무 결정처럼 사고 시 영향이 큰 자리. 이 자리만 잡혀 있어도 큰 사고는 막힙니다. 그 다음 Confidence-based로 모호한 케이스를 사람으로 넘기고, Threshold·Time은 운영 한 달 보면서 추가하는 순서가 안정적이에요.

정리

핸드오프는 단계 사이를 흐르게 하는 자리입니다. 트리거 4 + 컨텍스트 + 피드백 루프, 이 세 가지가 자리잡아야 작동해요.

다음 글에선 사람의 결정과 에이전트의 실행 결과가 휘발되지 않고 어떻게 쌓이는지 — Knowledge Accumulation을 봅니다.

작성: Bruce Choe · agenticworkflows.club