AI 통화 요약에 「매주 금요일」이 적혀 있었는데, 통화 원문엔 요일이 없었습니다

상담 전화를 녹음하고 AI 요약을 받습니다.
요약을 읽고 원장에 옮기면, 그다음부터는 요약이 사실입니다. 통화를 다시 듣는 사람은 없습니다.

이 글은 전화를 기록으로 바꾸는 자동화 이야기도, AI가 긴 입력의 앞부분만 읽는 이야기도 아닙니다.
요약이 원문과 다르다는 이야기입니다. 없는 말을 만들고, 있는 문답을 흐립니다.

저희가 부트캠프 상담 통화 한 건에서 그 함정을 밟았습니다.
8월 31일 오전, 모듈러 주택 회사 대표와 16분 51초를 통화했고 녹음 전사와 AI 요약을 받았습니다.

요약은 상담 원장으로 옮겨졌습니다.
원장은 그대로 그 조건을 들고 있었고, 9월 1일에 전사 원문 208줄을 처음부터 끝까지 대조하기 전까지 아무도 몰랐습니다.

요약을 원장에 옮기는 순간 요약이 사실이 됩니다. 그 전에 세울 자리가 있습니다.

요약에는 수업이 「매주 금요일」이라고 적혀 있었습니다.
전사 원문 208줄에는 요일이라는 말 자체가 없었습니다.

원문에 있는 것은 날짜뿐이었습니다.
주당 한 번씩 6일, 13일, 20일, 27일. 그 네 날짜는 전부 일요일입니다.

요약 한 줄 안에서 이미 모순이 있었습니다.
「매주 금요일」이라고 쓰고 괄호 안에는 일요일 날짜 네 개를 나열했습니다. 읽는 사람은 괄호를 세지 않고 요일을 믿습니다.

고객은 통화에서 날짜를 들었으니 고객 쪽 인지는 어긋나지 않았습니다.
어긋난 것은 저희 원장이었습니다. 고객이 「금요일이죠?」라고 되물었다면 원장을 든 사람이 「네」라고 답했을 것입니다.

요약은 원문에 없는 말을 만듭니다. 만든 말이 그럴듯할수록 원문을 열지 않게 됩니다.

반대 방향의 오류도 있었습니다.
원문에 또렷이 있는 문답을 요약이 정보 한 줄로 눌러 버린 자리입니다.

통화 13분 54초에 고객이 가격을 물었고, 저희가 맞다고 답했습니다.
전사 원문은 이렇습니다.

가운데 「맞습니다」는 저희 대답인데 전사기가 고객 발화에 붙여 놓았습니다.
화자 표시도 틀리는 도구가 요약을 씁니다. 그래도 문답의 뼈대는 남아 있습니다.

고객이 「300만원 맞나요」라고 물었고 저희가 「맞습니다」라고 답했으니, 300은 통화에서 확정된 조건입니다.
부가세는 통화에서 언급되지 않았습니다.

요약은 이것을 「비용 300만원」이라는 정보 한 줄로 적었습니다.
안내한 숫자와 확정된 숫자는 다릅니다. 나중에 330으로 안내하면 통화에서 확정한 조건을 불리하게 바꾸는 일이 됩니다.

그래서 원장에는 「300이 문답으로 확정된 상태」라고 따로 적었습니다.
부가세를 어떻게 처리할지는 대표가 판단할 몫으로 남겨 두었고, 이 글도 그 판단을 대신하지 않습니다.

고객이 묻고 우리가 「맞습니다」라고 답한 문답은 정보가 아니라 조건입니다.

대조를 마치고 나서 더 불편한 사실이 하나 나왔습니다.
208줄 전사 원문은 통화 후 8일 동안 한 컴퓨터 안에만 있었습니다.

공유 저장소에 올라가 있던 것은 요약본뿐이었습니다.
다른 자리에서 원장을 여는 사람은 요약만 볼 수 있었고, 원문을 열 방법이 없었습니다.

9월 8일에 원문을 공유 저장소에 박제하면서 남긴 기록은 이렇습니다.
「요약은 파생물이고 이 파일이 원문이다. 둘이 합류하면 요약본이 이 전사를 가리키게 할 것.」

원문이 한 기기에만 있으면 그것은 저장이 아닙니다.
그 기기를 열 수 없는 사람에게는 요약이 곧 원문이고, 요약의 오류를 잡을 길이 없습니다.

전사 파일 머리에는 이런 주석도 있었습니다.
「화자 라벨은 전사기가 자동 부여한 것으로 실제 인물과 1:1 대응하지 않는다.」 원문조차 한 겹은 의심하고 읽어야 합니다.

원문이 한 기기에만 있으면 그건 저장이 아닙니다. 요약이 원문 행세를 하게 됩니다.

요약을 버리라는 말이 아닙니다.
16분 51초를 다시 듣는 것보다 요약을 읽는 쪽이 빠르고, 그 용도로는 충분합니다.

세울 것은 요약이 정본 노릇을 못 하게 막는 자리입니다.
저희가 이 통화 뒤에 세운 자리는 셋입니다.

요약은 원문이 아닙니다.
가격·일정·횟수처럼 고객과의 조건이 걸린 항목은 요약에서 옮기지 않고 전사에서 그 문장을 찾아 확인합니다.

원문을 먼저 저장하고 요약을 그 옆에 둡니다.
요약본 머리에 원문의 위치를 적고, 원문이 한 기기에만 있는 상태를 저장으로 치지 않습니다.

확정된 조건 목록을 원장에 따로 둡니다.
고객이 묻고 우리가 「맞습니다」라고 답한 문답만 모아 요약과 별개 칸에 적습니다. 그 칸이 있으면 330으로 안내하기 전에 300이 걸립니다.

AI 요약은 읽기를 빠르게 하는 도구입니다. 고객과의 조건이 걸린 자리에서는 원문을 엽니다.

정리

경고 신호

• 원장의 일정·가격 칸이 AI 요약에서 그대로 옮겨졌다

• 전사 원문이 녹음한 기기 한 대에만 있다

• 고객이 확인한 숫자와 나중에 안내한 숫자가 다른데 아무도 모른다

좋은 신호

• 조건이 걸린 항목마다 전사의 해당 문장이 원장에 붙어 있다

• 요약본 머리에 원문의 위치가 적혀 있다

• 「맞습니다」로 확정된 문답이 요약과 다른 칸에 모여 있다

내 통화 기록에 대입해보기

1. 이번 주 상담 통화 중 요약을 받은 것은 몇 건인가요?
   그중 원장에 옮겨진 건을 하나 고르세요.

2. 그 원장의 가격·일정·횟수는 어디서 왔나요?
   요약에서 왔다면 전사에서 그 문장을 찾아 보세요.

3. 그 통화의 전사 원문은 지금 몇 곳에 있나요?
   한 곳뿐이면 오늘 공유 저장소에 올리세요.

4. 고객이 묻고 우리가 「맞습니다」라고 답한 문답은 어디에 적혀 있나요?
   없으면 확정 조건 칸을 하나 만드세요.

자주 묻는 질문

Q. 통화 녹음 AI 요약은 얼마나 믿을 수 있나요?

흐름을 파악하는 용도로는 충분합니다. 다만 저희 실측에서는 원문에 없는 요일을 만들고, 확정된 가격 문답을 정보 한 줄로 눌렀습니다. 조건이 걸린 항목은 전사에서 확인해야 합니다.

Q. 전사 원문도 틀릴 수 있지 않나요?

틀립니다. 저희 전사에서는 화자 표시가 실제 인물과 맞지 않았고, 저희 대답이 고객 발화에 붙어 있었습니다. 그래도 문답의 뼈대는 남아 있어 요약보다 확인 근거로 쓸 수 있습니다.

Q. 매 통화마다 전사를 다 읽어야 하나요?

다 읽을 필요는 없습니다. 가격·일정·횟수처럼 고객과의 조건이 걸린 항목만 전사에서 해당 문장을 찾아 원장에 붙이면 됩니다. 나머지는 요약으로 읽어도 됩니다.