システムの保守・運用を行うインフラエンジニアにとって、障害対応は最も責任のある仕事のひとつであり、障害の監視や通知に関するツールは「PagerDuty」や「Zabbix」が有名です。そうした障害対応を助けてくれるツールとして、Netflixが無料のオープンソースソフトウェア「Dispatch」を公開しました。 Introducing Dispatch - Netflix TechBlog https://netflixtechblog.com/introducing-dispatch-da4b8a2a8072 About - Dispatch https://hawkins.gitbook.io/dispatch/ Netflix Dispatch - Reviews, Pros & Cons | Companies using Netflix Dispatch https://stack

1月21日時点で、1月分の検針が済んで料金を請求すべき約260万件の顧客のうち、約1割に当たる26万4350件で1月分の電力使用量を計算できていない。このため、九州電力は該当する顧客に対し、12月の電力使用量に基づく「推定料金」で料金を請求することにした。実際の使用量に基づく過不足分は2月以降の電気料金で精算する。 システム障害の原因は既に公表済みで、旧システムから新システムにデータを移行するプログラムの不備である。今回の発表では、プログラム不備などによるエラーが発生すると、異常データだけではなく正常データも処理できずに滞留し、電力使用量を計算できなくなる不具合が新たに判明したとした。

2019年の12/23は祝日ではなくなりましたが、会社のシステムがそれに対応していなかったため、まさかの障害が発生… ステルス @suterusu373 本社及び各支店が「12月23日は天皇誕生日で祝日」とシステムでなってたため電話が切断されており、朝から繋がらない此方からもかけれないというシステム障害発生。 令和元年最後に2000年問題みたいなのに遭遇するとは思わんかったw

日本電子計算は2019年12月16日、自治体向けIaaS「Jip-Base」を利用中の自治体でシステム障害が発生している問題について記者会見を開き、山田英司社長が「大変申し訳なく思っている」と謝罪した。同社によると、15％のデータはIaaS内のバックアップも見つからず、単独での復旧が不可能。残りの70％は復旧、15％は復旧作業中であることが明らかとなった。 これまで「50自治体」としていたのは、正確には47自治体と、6の広域事務組合や図書館であることも説明された。バックアップが見つからない15％には、このうち33自治体のデータが含まれるという。システム構成も一部が明らかにされ、仮想環境で1318の仮想OSが稼働していたことが判明した。 日本電子計算は復旧作業に当たって、IaaS内からOSやアプリケーション、業務データを含む仮想環境のイメージデータを復旧したり、イメージデータを同社のバックア

本番環境でやらかしちゃった人 Advent Calendar 2019 16日目の記事です。 内容はタイトルの通りです。 10年前くらいの話なので少しふわっとした部分もあるかもしれませんが、ご了承ください。 その当時やっていた業務内容 システムのサーバー移行作業 東京のとある会社で、とあるシステムのサーバー移行の作業をしていました。 そのシステムは大阪にあるデータセンターの物理サーバーで動いていて、今使っているサーバーの使用期限が切れるため、新しいサーバーへ移行するというものです。 客先常駐で、クライアントさんとやり取りしながら仕事をしていました。 ちなみに当時の僕はエンジニアになって2年目くらいの時期でしたが、大手SIerでのシステム移行のを1作業員として経験(手順書通りにコマンドを実行したりする)したくらいの状態で、まともにプログラムやコンソールを業務で触るのは初めてでした。 今回の事

ご挨拶 初めまして @moriya-snj です。 この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiita」の15日目の記事です。 みなさん盛大にやらかしている様で安心しております。 今回は私が社会人3ヶ月目でやらかした重大事故の記録を包み隠さず暴露するとともに当時フォローしてくださった先輩や上司お陰でなんとかこの業界で生き抜くこと出来ていることの感謝をお伝えすべく、キーボードに手を伸ばしております。 何をしでかしたか 顧客AがIP電話を導入するため、新たにVoIP用ネットワークを構築することとなった。 機器の設置等は別部署が行うため、設置依頼を出し、完了の報告をもらったため、ネットワーク機器のコンフィグなどを流し込み疎通確認などを行うこととなった。 疎通確認が完了し、お次はVRRPの切替確認を行おうとしたが、ここで誤って稼働中の顧客Bのネットワ

2019年12月4日に日本電子計算の自治体向けIaaS「Jip-Base」および、それを利用していた50自治体でシステム障害が発生した問題で2019年12月13日、複数の自治体が本番環境とは別のクラウド環境によるシステムの再構築を進めていることが分かった。 その一つである大阪府和泉市は、「現在はバックアップ用システムで稼働しているが処理能力に限界があるため、業務に支障が出ている。12月14日の土曜日に作業をして、週明けの12月16日から再開できる見込み」とコメントした。 千葉県浦安市や愛知県東浦町も同様に別クラウド上での再構築の検討を始めており、例えば浦安市ではまだ再開できていない要介護認定などの介護保険業務システムを別クラウドで再構築する方向で進めている。いずれの自治体も「日本電子計算に本番環境とは別のクラウドの領域を用意してもらい、そこに業務システムを立て直す」（和泉市）という。日本電

12月4日に発生した東京都中野区など約50の自治体のシステム障害で、12月5日も住民票の発行やホームページの閲覧などができない状態が続いている。原因は各自治体が利用している日本電子計算のIaaS「Jip-Base」にシステム障害が発生したため。現状で復旧のメドは立っていない。 4日の時点ではディスク故障が原因とされていたが、詳細が分かってきた。2019年12月4日午前10時56分に同社のシステムにアラートがあがり、システム障害が発生した。調査したところストレージ装置のファームウエアにバグがあり、ディスクの読み書きができなくなったためだった。 各自治体の障害の影響範囲については、「自治体ごとにIaaSを利用しているシステムが異なるため一概には言えない。明確になり次第お知らせしていく」（日本電子計算 広報）とした。11月23日にもQTnetのデータセンター障害で福岡県庁のシステムが一時的に利用

9月30日夜から10月1日朝にかけて石垣市と竹富町で発生した通信障害は、沖縄県内をループ状に結んだ通信回線の2カ所が損傷したことで、損傷区間に挟まれた石垣市と竹富町が通信的に孤立したことが原因だった。NTT西日本沖縄支店は「原因究明を急ぎ、再発防止に努める」としている。 同社によると、県内の通信回線は本土とつながる沖縄本島を起点に、宮古島市―石垣市―竹富町―与那国町―沖縄本島とループ状に結んでいる。例えば、本島から石垣市に電話する場合、宮古島市ルートと与那国町ルートが利用できることから、片方が損傷してももう一方のルートで通信できる仕組みとなっている。 今回のケースでは、台風18号が接近する前の9月28日の段階で与那国町―竹富町の回線が損傷。さらに台風18号の影響で同30日に、新たに宮古島市―石垣島市の回線や設備が損傷した。この結果、竹富町と石垣市が孤立。この回線にはインターネットや携帯電話

2019年９月24日に発生したヤマト運輸の法人向けのクラウドサービス「送り状発行システムB2クラウド」のシステム障害は、9月25日午前11時現在でまだ復旧していない。これは配送に使う入力した宛先などを印字して送り状を印刷できるサービスで、9月24日午前11時ごろからログインや送り状の印刷がしづらくなっている。 ヤマト運輸によると、影響を受けているのは法人向けの会員組織「ヤマトビジネスメンバーズ」に登録した企業で、数十万社に及ぶという。原因は調査中だが、同社では「日中などアクセス数が増えてくる時間帯になる。現状は紙の送り状を使ってもらうようお願いしているが、できるだけ早く復旧したい」としている。

2019年8月23日 13時頃からAmazon AWS 東京リージョン でシステム障害が発生し、EC2インスタンスに接続できない等の影響が発生しています。ここでは関連する情報をまとめます。 AWSの障害報告 aws.amazon.com AWS障害の状況 障害発生時間（EC２） 約６時間 2019年8月23日 12時36分頃～18時30分頃（大部分の復旧） 障害発生時間（RDS） 約９時間半 2019年8月23日 12時36分頃～22時5分頃 障害原因（EC２） 一部EC2サーバーのオーバーヒートによる停止 制御システム障害により冷却システムが故障したことに起因 影響範囲 東京リージョン（AP-NORTHEAST-1）の単一のAZに存在する一部EC2、EBS、およびRDS。 発生リージョンは東京。東京近郊４データセンター群の内、1つで発生。 日本国内のAWSの契約先は数十万件とみられる。*

大阪市で住民票などの証明書発行業務を担う基幹システムが停止。復旧まで21時間を要し、8000件近い証明書発行業務に影響が及んだ。原因はOracle Databaseのクラスタ機能に潜むバグだった。ネットワークの不調をきっかけにシステムが停止し、再起動もできなくなった。米オラクルはバグの存在を把握しながら対外開示をしていなかったとみられる。 2019年6月7日午後0時5分頃。大阪市内の24の区役所や出張所、梅田・難波・天王寺のサービスカウンターで、住民票の写しや記載事項証明書、国民健康保険や税務関連の証明書などが印刷できなくなった。金曜日の昼休みということもあり、週内に書類を発行してもらおうと区役所など窓口に来ていた住民からは悲鳴と怒号が上がった。 同じ頃、大阪市西区の阿波座にある大阪市ICT戦略室も騒然としていた。システム障害を知らせる警報が鳴り、各区役所からトラブル発生を知らせる電話が相

オリエンタルランドは6月26日、東京ディズニーリゾートの施設内でスタッフが撮影した写真をネット上で注文できるサービス「東京ディズニーリゾート・オンラインフォト」で、一部の顧客が本人以外の写真を閲覧できる状態になっていたと発表した。写真にアクセスするための番号が印刷されたカード「フォトキーカード」のうち7438枚に、誤って重複した番号を記載していたため。うち1549枚で、データが閲覧されたことを確認したという。 該当の写真は、24日までに閲覧できない状態にした。また、不特定多数の第三者が閲覧できる状態ではなかったとしている。 6月7日～21日に配布したフォトキーカードの番号と同じ番号のカードを、22～24日にも配布したため、22～24日にかけ、対象の顧客が、別の顧客の写真を見られる状態になっていた。 重複した番号が記載された7438枚のうち1549枚のデータが実際に閲覧され、うち321枚のフ

著名なセキュリティーリサーチャーのpiyokango氏が注目のシステムトラブルをピックアップ。今週の注目ネタは…。 2019年5月最終週の注目ニュースは3件。最初は、図書カードNEXTなどのギフトカードや電子マネーで生じたトラブルを取り上げる。 図書カードNEXT、データセンターのメンテナンス後に障害を繰り返す（5月29日） 図書カードNEXTを展開する日本図書普及は、同カードを一時利用できなくなったことを明らかにした。図書カードNEXTは、書店で利用できるプリペイド式のギフトカード。