一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？

何社か渡ってますが比較的大きな規模になってくると

　・専門部署が三交代制などで対応

　・24時間の保守を外部に委託

のどちらかでやってます。

あらかじめ対応マニュアルを作成し現場で対応しきれないレベルや本番サービスに支障が発生した、もしくはすることが見込まれる場合はサービス担当者(プロデューサー、ディレクターなど)へ連絡が走ります。

この場合も24時間、担当者は連絡を受け取る体制が必要ですが、さすがに一人では無理なので、Aさんがだめな場合はBさんと言う具合に、数人リストアップし順次連絡をとっれもらうようにしていきます。担当者が重大な障害だと判断した場合は責任者に連絡し、緊急体制をしきます。

実際に監視する現場も専用のツールを使って運用の軽減を図るのはどこでも行うのですが、それを受ける人間は内外問わず必要で避けられないんですよね。

まとめると

　・業務負荷が高いのであれば外に出す

　・コストメリットを感じないのであれば中で運用

　・製品、自社開発など何らかのツールを利用した負荷軽減

　・いずれの場合も事前にマニュアル作成

　・エスカレーションフロー、連絡ルートの確率

書き出してみると当たり前のことを当たり前にやる、という感じですねえ（＾＾；

いっそのことアラートを一人に絞ってしまえばいいのでは

週や日ごとに担当を決めて必ずやらなければならないという状況になれば上司に怒られることはなくなるでしょう

もしアラートを受け取った人が何らかの事情でできなければ本人が直接他の人に頼めばよいのです

アラートに気づかないこともあるでしょう

そのときのためにアラートを受け取ったら「確認した」という報告やメールでも何でもいいですがスクリプトに送ります

もし一定時間この確認メッセージがこなければ自動的に他のエンジニアにアラートを送信するなどの対策を打っておけばよいでしょう

もう一点ありますが企業的に好ましくないかもしれませんね

アラートを受け取り障害を対応したエンジニアになんらかのボーナスを与えるようにすれば誰もやらないなんてことは少なくなるのではないでしょうか

これは私の思いつきで実際にやっているわけではないのであしからず

うちではまず、サーバやサービスに障害が発生したらメールを送信する監視システムが第一歩で、監視システムは担当者全員の携帯にメールを送信します。

これくらいはどこでもやってると思います。

ですが、これで安心してはいけません。

この障害メールに対して全員が対応を始めると２重に対応を行ってしまう無駄が出たり、

逆に誰かがやるだろうと全員が考えてスルーしてしまい大障害になる恐れがあるので、

対応担当を当番制で決めておきます。

例えば、担当者が３人いるとした場合１週間毎に対応当番を交代します。

当番の週は障害メールが来たら真っ先に対応する責任があります。

これにより責任が明確になるとともに、逆に当番以外の人間の精神的負担が大幅に軽減されます。

ですが、人間なのでいくら障害メールが来ていて当番脱兎しても寝ていて気がつかなかったりすることがあります。

この問題の対策として、更に以下のようなシステムを独自で作って運用しています。

まず監視システムは担当者以外に「担当を電話で叩き起こすシステム」にもメールを送ります。

この電話システムには担当者 A,B,C の携帯電話番号が設定されており、障害メールが届くと現在当番の人を判断してその人の携帯電話に電話をかけ始めます。

１回だと気がつかない場合もあるので１０回くらいは何度もリダイアルして気付かせます。

ですが、人間なので、いくら寝ていなくても、風呂に入っているなどで電話の鳴る音にも気がつかない場合もあります。

その場合リダイアル上限に達したら電話システムはAを諦めて、B,Cの携帯に順番に電話をかけていきます。

Bが当番じゃないときでもBに電話が回ってきたときはAが対応できなかったんだなと諦めて対応します。

これはAに対するBの貸しになるので、Bは翌日Aに対して飯をおごってもらうなどして貸しを返してもらいます。

ちなみにこのリダイアル地獄は電話を取ってダイアルで暗証番号を入れることで止まります。

この暗証番号もポイントで、毎回同じ番号だと慣れてくると寝ぼけたまま障害電話を取って暗証番号を入れてリダイアルシステムを停止させてまた寝てしまうことがあります。

それを防ぐため、今日の日付を入力させるなど多少頭を使わないと止められない仕組みになってます。

いかにも人間的で単純なシステムですが、これが出来てからは対応漏れも減った上に、当番以外の時は実質対応休暇となるので担当者の精神的負担も大きく軽減されました。