도구 업데이트 한 번에 메신저 봇 다섯 개가 같이 죽었습니다. 문 하나에 매달린 자동화를 업데이트하는 순서

자동화가 늘면 봇도 늡니다.
저희는 텔레그램 봇 다섯 개를 돌립니다. 카톡 문의 수집, 광고 일일 보고, 블로그 발행, 비서, 현장 알림.

이 다섯은 각자 돌지 않습니다.
메신저와 연결해 주는 프로그램 하나, 게이트웨이 위에 전부 매달려 있습니다. 문 하나에 방 다섯 개가 붙은 구조입니다.

멈춘 걸 그날 아침에 아는 구조는 이미 다른 글에서 다뤘고, 자가복구가 어디까지인지도 따로 썼습니다.
이 글은 그 둘과 다른 정지를 다룹니다. 사람이 업데이트 명령을 쳐서 일으키는 정지입니다.

9월 2일과 9월 8일, 게이트웨이를 업데이트했습니다.
두 번 다 봇 다섯 개가 한꺼번에 멈췄습니다. 봇에는 아무 문제가 없었는데도요.

자동화가 여러 개일수록 위험은 봇이 아니라 봇들이 함께 매달린 문에 있습니다.

첫 번째 업데이트는 마지막 줄이 「결과: 오류」였습니다.
사유는 부가 기능 후처리 실패. 본체는 이미 새것으로 바뀐 뒤였습니다.

문제는 그 다음입니다.
업데이트 도구는 오류로 끝나면 재시작 단계를 통째로 건너뜁니다. 그러니 게이트웨이는 옛 프로그램인 채로 켜져 있었습니다.

그런데 업데이트 도구가 그 전에 설정 파일을 새 형식으로 옮겨 놓았습니다.
새 형식에는 「봇이 여럿일 때 기본 주인이 누구인가」 한 줄이 필요했고, 옮겨진 파일에 그 한 줄이 없었습니다.

게이트웨이는 「준비됐다」고 보고하기를 거부했습니다.
봇 다섯 개는 문이 닫힌 방에 갇힌 셈이 됐습니다.

고친 건 설정 한 줄 추가와 재시작이었습니다.
부가 기능 넷은 새 권한에 다시 동의해야 살아났고, 그것까지 마쳐야 한 세트였습니다.

업데이트가 오류로 끝나면 재시작이 생략됩니다. 「오류」는 곧 「전부 멈춤」으로 읽어야 합니다.

엿새 뒤 두 번째 업데이트도 「결과: 오류」로 끝났습니다.
이번 사유는 「재시작 후 비정상」. 첫 번째와 같은 마지막 줄이었습니다.

설정부터 의심할 뻔했지만 설정은 멀쩡했습니다.
코드는 이미 새것으로 바뀌었는데, 옛 프로세스가 재시작하려다 새 파일을 읽지 못해 실패한 것이었습니다. 옛 프로그램 안에서 새 부품을 찾은 셈입니다.

해법은 새 명령으로 그냥 재시작하는 것이었습니다.
그 뒤 부가 기능 셋의 버전이 어긋나 있어 그것까지 맞추니 끝났습니다.

두 번 다 마지막 줄은 같았습니다.
한 번은 설정 문제, 한 번은 설정과 무관. 결과 문장만 보고는 무엇을 고쳐야 하는지 알 수 없습니다.

「업데이트 오류」라는 같은 문장이 전혀 다른 원인을 가리킬 수 있습니다.

두 사고 모두 판정은 봇을 하나씩 보지 않았습니다.
게이트웨이 상태 점검 명령 한 줄이었습니다. 연결 확인이 실패로 나오면 봇 다섯 개는 볼 것도 없이 전부 죽은 것입니다.

반대로 봇 다섯 개를 따로 감시하면 다섯 번 놀랍니다.
카톡 수집이 멈췄다, 광고 보고가 안 왔다, 블로그가 안 올라갔다. 원인은 하나인데 알림은 다섯 개가 옵니다.

복구 확인도 문 기준입니다.
9월 2일에는 게이트웨이가 다시 준비 보고를 하고 메신저 계정 연결이 전부 정상으로 돌아온 것으로 끝을 확인했습니다.

그래서 미리 적어 둘 것은 두 줄입니다.
게이트웨이 상태를 묻는 점검 명령 한 줄, 그리고 죽었을 때 사유가 남는 로그 파일의 위치 한 줄.

문 하나에 매달린 봇은 문 기준으로 봅니다. 봇마다 보면 같은 사고를 다섯 번 겪습니다.

대표가 가져갈 것은 세 칸입니다.
두 번의 사고를 겪고 저희가 업데이트 전에 옆에 두기로 한 것들입니다.

「업데이트 오류」는 곧 「전부 멈춤」으로 읽습니다.
업데이트 뒤엔 결과 문장 대신 점검 명령으로 살아 있는지 확인합니다.

문 하나에 매달린 봇은 문 기준으로 봅니다.
게이트웨이 점검 명령과 로그 위치를 미리 적어 두는 것까지가 한 칸입니다.

업데이트는 사람이 있는 시간에, 되돌릴 파일을 옆에 두고 합니다.
설정 백업 한 벌, 재시작 명령 한 줄, 「어디를 보면 죽었는지 안다」 한 줄. 9월 2일에도 설정 파일 백업을 먼저 떠 두고 손을 댔습니다.

이 셋이 없으면 밤 업데이트는 금지입니다.
오류로 끝난 업데이트는 재시작을 건너뛰고, 그 상태로 아침까지 가면 봇 다섯 개가 밤새 멈춰 있게 됩니다.

업데이트는 봇들이 함께 매달린 문을 잠깐 닫는 일입니다. 닫을 때는 사람이 옆에 있어야 합니다.

정리

경고 신호

• 봇 여러 개가 게이트웨이 하나 위에서 도는데, 게이트웨이 점검 명령을 아무도 모른다

• 업데이트 결과가 「오류」였는데 봇이 살아 있는지 확인하지 않았다

• 퇴근 후나 밤에 자동으로 업데이트되도록 걸어 두었다

좋은 신호

• 게이트웨이 점검 명령 한 줄과 로그 위치 한 줄이 적혀 있다

• 업데이트 전에 설정 파일 백업을 떠 두고 재시작 명령을 옆에 둔다

• 봇이 멈추면 봇보다 문부터 본다

내 자동화에 대입해보기

1. 우리 회사 봇들은 무엇 하나 위에 같이 매달려 있나요?
   메신저 연결, 서버, 계정 중 공유하는 문을 찾으세요.

2. 그 문이 살아 있는지 묻는 점검 명령을 아나요?
   모르면 한 줄을 만들어 적어 두세요.

3. 마지막 업데이트 뒤에 살아 있는지 무엇으로 확인했나요?
   결과 문장이었다면 다음부터는 점검 명령으로 하세요.

4. 되돌릴 설정 백업과 재시작 명령이 옆에 있나요?
   없으면 밤 업데이트는 걸지 마세요.

자주 묻는 질문

Q. 봇마다 따로 만들면 이런 사고를 피할 수 있나요?

문을 나누면 한 번에 전부 죽는 일은 줄지만 업데이트할 문이 늘어납니다. 저희는 문을 하나로 두고 점검 명령과 백업을 옆에 두는 쪽을 택했습니다.

Q. 업데이트가 오류로 끝났는데 봇은 살아 있으면요?

9월 8일이 그 경우였습니다. 옛 프로그램이 그대로 돌고 있었을 뿐이라 재시작 전까지는 새 버전이 아니었습니다. 살아 있어도 점검 명령으로 버전과 연결 상태를 확인하세요.

Q. 밤에 자동 업데이트를 걸어 두면 안 되나요?

오류로 끝난 업데이트는 재시작을 건너뜁니다. 그 상태를 아침까지 아무도 모르면 봇 전부가 밤새 멈춥니다. 설정 백업, 재시작 명령, 점검 명령 세 줄이 준비된 사람이 있는 시간에 하세요.