Working like a dog, Sleeping like a log

いやぁ、悲惨な事件でした。

ひどいバッチ障害が発生。もう契約切れてましたが、そういうわけにもいかないのでフォローしました。

丸２日ほぼ徹夜、ありえない。

不幸なことに外部サービスを利用しており、これが処理を受けて完了するとホスト名を頼りに一定のAPIを叩くように設計されていました。

障害の原因は、旧システムを担当していたベンダーがバッチ処理の自動起動を切り忘れて、新システムと同時に走ってしまったことです。

信じがたいミス。

このため、両方のバッチの結果が全部新システムに流れ込んできてデータベースがめちゃくちゃになったというわけ。

旧システムベンダーも呼び出し、外部へのサービスの影響も出ているので、社としての判断をしてもらわなきゃきけないのでお客様一同を呼び出し、あれこれやって丸二日間。

契約もないのに、お客様の本部長まで呼び出す暴君と化していました。

やっと、眠れます。