本番DBのマスターデータを全行ぶっとばすやらかしをしたときのお話、その反省

テクノロジーカテゴリーの変更を依頼記事元:

236 usersがブックマークコメント

本番DBのマスターデータを全行ぶっとばすやらかしをしたときのお話、その反省

はじめにはじめまして、さかがみかずと(@_skgm092)です。今回は自分がお手伝いしているプロジェクト... はじめにはじめまして、さかがみかずと(@_skgm092)です。今回は自分がお手伝いしているプロジェクトで、本番DBへのアクセス作業中に発生したトラブルについて記録します。自分の失敗を公開することは恥ずかしいものですが、同じような事故を防ぐための参考になればと思い、共有することにしました。自分のしかばねを糧にして、皆様は同じ失敗をしないようにしてください。トラブルの概要起きてしまったこと担当プロジェクトはコアタイムがPM10-AM03頃のSNSサービスでした。サービスの主要機能が完全に機能停止する事態が発生し、コアタイムの大部分を緊急メンテナンスで停止せざるを得ない状況となりました。どんな作業で発生したかマスタデータを含むテーブルの列を書き換える作業中に発生しました。具体的には、とあるマスタデータのJSON型の列を全てブランク値で上書きしてしまいました。何が問題だ

kazuppo01 基本動作の全てを踏み抜くインシデントで、誰もが一度は似た経験をやりがち。やらかした恐怖は財産になるやつ。きちんと反省点が書かれてて、良いエントリーと感じた。

2024/11/29 リンク