같은 카톡 회신을 AI 여섯에 따로 시켰더니, 여섯 전부 같은 세 군데를 고쳤습니다

고객에게 보낼 회신을 AI에 한 번 다듬게 합니다.
읽어 보면 나쁘지 않은데, 이게 최선인지는 모릅니다.

다른 AI에 같은 문안을 넣어 보면 또 다르게 나옵니다.
어느 쪽이 맞는지 가릴 기준이 없으니 취향 차이로 접고, 처음 것을 보냅니다.

저희도 같은 자리에 섰습니다.
상담을 마친 고객에게 보낼 후속 회신 한 통이었고, 1차로 AI에 윤문을 시킨 판본이 대표가 직접 만든 판본에 못 미쳤습니다.

그래서 같은 문안을 ChatGPT·Claude·Grok 세 벤더의 채팅 제품과 명령줄 도구, 도합 여섯 레인에 따로 돌렸습니다.
순위를 매기려던 것이 아닙니다. 여섯이 어디서 같고 어디서 갈리는지를 보려던 것입니다.

답이 여러 개라는 것은 기준이 없다는 뜻이 아닙니다. 겹치는 자리가 기준입니다.

1차 윤문에는 두 가지 제약을 걸었습니다.
마무리는 격식체로 쓸 것, 그리고 내용·구조·순서를 바꾸지 말 것.

정작 고쳐야 했던 것은 그 제약 안쪽에 있었습니다.
끝에 붙은 숙제형 질문 세 개, 과한 격식체, 그리고 해명조 사족.

바꾸지 말라는 지시는 안전장치처럼 보입니다.
실제로는 결함까지 같이 보존하는 장치였습니다. 사족인 문장을 지우는 것도 구조 변경이기 때문입니다.

2차에는 제약을 풀었습니다.
지켜야 할 문언과 고객이 쓴 원어만 명시하고, 구조를 바꿀 권한을 문장으로 줬습니다.

「바꾸지 말 것」은 안전장치가 아니라 결함 보존 장치일 수 있습니다.

제약을 풀고 돌린 여섯 레인은 조건이 제각각이었습니다.
벤더가 셋, 실행 방식은 채팅 제품과 명령줄 도구, 추론 강도는 높음에서 기본값까지 섞여 있었습니다.

그런데 세 가지는 여섯 전부가 예외 없이 고쳤습니다.
끝의 숙제형 질문 세 개를 개방형 한 문장으로 줄였고, 마크다운 볼드를 걷어냈고, 제품 이름의 영문 표기를 통일했습니다.

볼드 제거에는 저희 쪽 근거도 따로 있었습니다.
그동안 저희가 보낸 발신 418건을 세어 보니 마크다운 볼드가 0건이었고, 카톡은 별표를 그대로 노출합니다.

벤더도 실행 방식도 추론 강도도 다른데 결론이 같았다면, 그것은 누군가의 취향일 수 없습니다.
그 세 군데는 오류였고, 사람이 만든 최종본에도 같은 수정이 들어갔습니다.

조건이 다른 여섯이 같은 자리를 고쳤다면, 그 자리는 취향이 아니라 오류입니다.

합의 밖에서는 레인마다 다른 실수가 나왔습니다.
한 레인은 「8시간 안에 답변」이라는 약속 문장을 지웠습니다. 고객에게 한 약속이 사라진 것입니다.

다른 레인은 「어제 긴 시간」처럼 날짜에 묶인 문장을 남겼습니다.
또 다른 레인은 「정하시면 알려주십시오」라는 결정 재촉을 그대로 뒀습니다. 미팅에서 방식을 밀어붙이지 않겠다고 약속한 뒤였으니 약속 위반입니다.

이 셋은 여섯 중 하나만 저지른 실수라서 AI끼리는 판정이 안 납니다.
무엇을 약속했는지, 언제 발송될지는 문안 밖에 있는 사실이고, 그걸 아는 사람이 판정해야 합니다.

최종본은 「오늘 긴 시간」을 「지난번에」로 쓴 판본이 됐습니다.
발송이 하루만 밀려도 거짓이 되는 문장을, 언제 보내도 참인 문장으로 바꾼 것입니다.

고객이 쓴 원어도 그대로 살렸습니다.
고객이 「시스템 글리치」라고 말했으면 「시스템 오류」로 고쳐 쓰지 않습니다.

하나만 고친 자리는 AI가 아니라 약속과 날짜를 아는 사람이 판정합니다.

여섯 레인까지 갈 필요는 없습니다.
벤더가 다른 채팅 제품 두세 개면 겹침이 보입니다.

지시는 지킬 것만 적습니다.
고객에게 이미 한 약속의 문언, 고객이 쓴 원어, 회사가 안 쓰는 표기. 그 밖의 구조는 열어 줍니다.

결과가 오면 두 칸으로 나눕니다.
전부가 같이 고친 자리는 그대로 받고, 하나만 고친 자리는 약속과 발송 시점을 아는 사람이 봅니다.

보내기 전에 날짜에 묶인 문장을 걷어냅니다.
「오늘」「어제」가 들어간 문장은 발송이 밀리는 순간 사실이 아니게 됩니다.

한 가지 사고도 남깁니다.
명령줄 도구 한 레인이 승인 대기에서 멈추자 저희가 승인 절차를 껐고, 그 도구는 윤문 요청을 작업 지시로 읽어 원장 파일을 덮어쓰고 외부 이슈 트래커에 코멘트를 달았습니다. 내용이 나빠서가 아니라 승인 절차를 건너뛰었기 때문에 되돌렸습니다.

승인 대기는 느린 것이 아니라 쓰기를 시도 중이라는 신호입니다.

정리

경고 신호

• AI 두 개의 답이 다르면 취향 차이로 접고 처음 것을 보낸다

• 지시에 「내용·구조·순서를 바꾸지 말 것」이 들어 있다

• 발송 문안에 「오늘」「어제」가 들어 있다

좋은 신호

• 전부가 같이 고친 자리와 하나만 고친 자리를 따로 적는다

• 지시에는 약속한 문언과 고객 원어만 못 박혀 있다

• 도구가 승인을 기다리면 무엇을 쓰려는지부터 본다

내 문안에 대입해보기

1. 이번 주 대표가 직접 고친 고객 문안은 무엇인가요?
   회신·제안·안내문 중 한 통을 고르세요.

2. 그 문안에서 반드시 지킬 문언은 무엇인가요?
   이미 한 약속과 고객이 쓴 단어만 적으세요.

3. 벤더가 다른 AI 두세 개가 같이 고친 자리는 어디인가요?
   그 자리는 논쟁 없이 받으세요.

4. 하나만 고친 자리를 판정할 사람은 누구인가요?
   약속과 발송 시점을 아는 사람이어야 합니다.

자주 묻는 질문

Q. 어느 AI가 문안을 제일 잘 쓰나요?

이 실측에서는 같은 벤더 안에서도 채팅 제품과 명령줄 도구, 추론 강도에 따라 결과가 갈렸습니다. 순위보다 겹침을 보는 쪽이 재현됩니다.

Q. 두 개만 돌려도 되나요?

벤더가 다른 두세 개면 겹침이 보입니다. 같은 벤더의 두 제품은 같은 실수를 공유할 수 있으니 벤더를 섞으세요.

Q. 「바꾸지 말 것」을 아예 빼면 위험하지 않나요?

빼는 것이 아니라 좁히는 것입니다. 약속한 문언과 고객 원어처럼 지킬 것을 문장으로 명시하면, 구조는 열어 줘도 약속은 남습니다.