SSDストレージがほぼ同時に3本故障した――。東京・大田区が2024年4月17日、昨秋発生したシステム障害の検証結果を明らかにした。複数のシステムが利用できない状態に陥ったことで行政サービスの停止に追い込まれたトラブルは、ハードウエアを冗長化していた同区の想定を上回る事態によって生じたものだった。 トラブルのあらましはこうだ。2023年10月9日から10日未明にかけて大田区の情報システム基盤に障害が発生。住民記録システム、国保年金システム、税務システム、介護保険システム、生活保護システムが使用不可となった。結果、証明書類の発行など各種行政手続きは停止を余儀なくされた。 同月12日に3つのシステム、15日には全てのシステムが利用可能な状態に復旧。保留していた処理を完了し、完全復旧にこぎ着けたのは18日のことだ。障害発生から9日が経過していた。 「大田区において、ここまで大規模なシステム障害は

米CrowdStrike（クラウドストライク）は、同社製品「CrowdStrike Falcon」（以下、Falcon）が原因で2024年7月19日（米国時間）に発生したシステム障害に関する「根本原因分析」（RCA：Root Cause Analysis）の結果を公表。システム障害に至った詳細や今後の対策を明らかにした。 既にほぼ全てのシステムが復旧 根本原因分析とは、問題の根本的な原因を特定し、対策を講じて再発を防止するためのプロセスを指す。根本原因分析の結果は、クラウドストライクのWebサイトで米国時間2024年8月6日に公開された。 米Microsoft（マイクロソフト）は、今回のシステム障害で約850万台のコンピューターが影響を受けたと推定。クラウドストライクによると、米国時間2024年7月25日時点で約97％、同7月29日時点で約99％が復旧したという。 システム障害の原因となっ

ドワンゴは6月14日、ニコニコのサービス全般が利用できない状況になっている障害について、「ランサムウェアを含む大規模なサイバー攻撃によるものであることが確認された」と明らかにした。今後は段階的な復旧を目指すが、1カ月以上かかる見通しだという。 今月8日、グループ企業のデータセンターがランサムウェアを含むサイバー攻撃を受け、相当数の仮想マシンが暗号化され、利用不能になった。その後も攻撃は繰り返し行われ、遠隔でプライベートクラウド内のサーバをシャットダウンしても、攻撃者が遠隔起動させて感染拡大を図るなど攻防が続いたという。 このため、サーバの電源ケーブルや通信ケーブルを物理的に抜いて封鎖したが、グループ企業が提供するデータセンターに設置されているサーバはすべて使用できなくなった。 「冗長構成とかバックアップというのは当然用意しておりましたし、セキュリティ対策というのも様々に実施してはいたのです

「業務システムにもインターネットにもつながらない」。始業直後に報告されたネットワーク障害は、瞬く間に庁舎全体に広がった。システム部員はすぐに原因究明に乗り出した。 どこにも挿さらず放置されているLAN（Local Area Network）ケーブルと、そのすぐそばにポートが余っているスイッチを、ネットワークに関する知識のない人が見つけたらどうするだろうか。「何かの拍子に抜けてしまったに違いない」と、挿してしまうかもしれない。こうした親切心からループが生じ、その影響でネットワーク全体がまひすることもある。 新年度が始まる2024年4月1日朝、那覇市役所全体が突然ネットワーク障害に襲われた。トラブル解決の陣頭指揮に当たったのは、ネットワーク機器の運用を担う情報政策課の伊覇太課長だ。トラブルをどう脱出したのか。経緯を詳しく見ていこう。 「何もできない」と職員が駆け込む 地上12階・地下2階建ての

Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し

すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ⁠⁠、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融

2023年11月17日、韓国の地方行政システムで3日にわたる大規模なシステム障害が発生し、韓国内の多くの行政機関の業務に支障が生じ、手続きが行えないなど市民の生活にも大きな影響が及びました。その後の調査を経て、韓国政府はネットワーク機器の異常によるものだったと原因について明らかにしています。ここでは関連する情報をまとめます。 56時間にわたり行政ネットワーク使えず システム障害は認証基盤である行政電子署名証明書（GPKI）システムで発生。韓国では公務員はシステム接続を行う際にGPKIシステムで認証を行っているため、全国の自治体で業務システムを利用できない事態となった。GPKIシステムと接続していた、閉域ネットワーク運用されている韓国内のすべての自治体が利用する「市道セオル行政システム」や行政プラットフォームの「政府24（정부24）」が利用できなくなった。 GPKIシステムは物理サーバー15

J @j17sf 概要については主に先週の記事で紹介したので、QAになるまではメインのツリー伸ばしません。興味ある方は記事を参照ください watch.impress.co.jp/docs/series/su… 2023-10-18 16:13:29 リンク Impress Watch 全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】 10月10日から全国銀行資金決済ネットワーク(全銀ネット)が運用する「全国銀行データ通信システム(全銀システム)」で発生していたシステム障害は、12日朝8時半の営業開始時間(コアタイム)をもって解消された。一部、10日と11日に行なわれた“仕向”の取引データに未処理のものが残っていたが、12日午前10時50分をもって全件処理が完了しており、通常状態へと戻っている。 65 users 114

全国銀行資金決済ネットワーク（全銀ネット）は2023年10月18日に記者会見を開き、「全国銀行データ通信システム（全銀システム）」で発生した障害に関する原因調査の状況などを説明した。コアタイムシステムの中継コンピューター（RC）が保有するテーブルが破損しており、「内国為替制度運営費（旧銀行間手数料）」の入力・チェックをする際にエラーが発生していたことを明かした。一方でテーブルが破損した原因については調査中とした。 「今回の問題は当法人だけでなく、我が国の決済システム全体を揺るがす大きな問題と認識している」 全銀ネットの辻松雄理事長は記者会見の冒頭、このように述べて陳謝した。全銀システムは10月10日朝に障害が発生。三菱UFJ銀行やりそな銀行など10金融機関で他行宛ての振り込みに関するオンライン処理などが2日間にわたってストップし、仕向けと被仕向けを合わせて506万件の振込処理に影響が出た。

全国銀行協会（以下、全銀）は10月18日、銀行間の送金を行う「全国銀行データ通信システム」（全銀ネット）で10日から11日にかけて発生した障害について会見を行い、現状を説明した。未だに根本的な原因は特定できず、暫定的な“代替対応”のまま運用しているという。 不具合はシステムのリプレース直後に発生した。全銀は7～9日の3連休を利用し、加盟14銀行の中継コンピュータを「23シリーズ」と呼ぶ新機種に更新した。それまでの「17シリーズ」は各機関に設置していたが、今回は全銀センターに集約して運用する形にした。 9日までに製品単体試験から相互運転試験までいくつもの試験を行っていたが、不具合は見られなかったという。 しかし10日午前8時30分。システムが通信を始めると、10行の中継コンピュータで電文の送受信ができなくなった。りそな銀行や三菱UFJ銀行などで他行宛の振込取引ができない状態になった。 バック

兄が反社会性パーソナリティ障害だとおもうんだけど、警察のお世話になるレベルではなく、家庭内暴力を繰り返し、金銭を要求してくるレベル。ADHD傾向があって、衝動的でキレやすい。計画性のある行動ができない。いわゆるグレーゾーン。 母がもう歳なので、この暴れん坊を世話することも限界がきている。 自分が引き継ぐなんてまっぴらごめんなので、地域の福祉課に電話して助けを求めた。 話を聞いてくれるということで、直接話してきたんだけど、結果からいえば、何も解決できなかった。 担当者は、ちゃんと心理カウンセリングの勉強をしているとすぐにわかった。否定もせず肯定もせず、熱心に聞いているようで、共感は示さない。 自分も、兄の様子は子供の頃からおかしいと思ってたので、精神医学に関することは軽く調べているので、兄がなんらかの発達障害、パーソナリティ障害の傾向があるということは確信している。反社会的な行動に関しての良

2023年6月26日、JR東日本は6月24日に発生したシステム障害の原因が電源工事の操作手順に誤りだったと公表しました。システム障害の影響により、Webページの閲覧不可やモバイルSuicaのアプリが利用できないなどが生じました。ここでは関連する情報をまとめます。 4つのシステムに最大半日の影響 システム障害は2023年6月24日0時37分頃発生。電源供給断により各システムのサーバーが停止しシステムの異常を知らせるアラートが相次ぎ発報。*1 夜間処理中に強制的な停止が生じたことで、ハード故障、データ不整合が発生。JR東日本は次の4つのシステムに電源断の影響が及んだとしている。 影響を受けたシステム 障害発生時間 障害発生による具体的な影響 JR東日本Webシステム 2023年6月24日0時37分～6時33分 Webサイトの閲覧不可 ビューカードシステム 2023年6月24日0時37分～9時2

新潟市は5月15日、マイナンバーカードを利用した証明書のコンビニ交付サービスで不具合が起きたと発表した。抹消済みの印鑑登録証明書を誤交付する不具合が発生し、市は交付サービスの提供を一時全面停止にした。システムの提供事業者は富士通Japan。 12日昼ごろ、住民から「既に廃印処理済である印鑑登録証明書を誤交付された」の指摘を受け、不具合が発覚。市はコンビニ交付システムの提供を全面停止した。その後、原因を特定したところ、他の証明書では不具合が発生しないと判明。同日中に該当する証明以外の交付を再開、16日には印鑑登録証明書の交付も再び始めた。 この件について、富士通Japanが追跡調査を行ったところ、新潟市の他住民で同じ現象が2件起きていることを確認。また、他自治体での影響を調べたところ、一部の政令指定都市でも同様の事象が発生する可能性があると明らかに。該当の自治体にはそれぞれ連絡したという。

複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリングから継続

4月3日の午前中に発生した「フレッツ光」と「ひかり電話」の障害ではNTT東日本、NTT西日本を合わせて最大約44万6000件に影響が出た。原因は新しい加入者装置に特殊なパケットが届いたこと。ただし「アタックである可能性は限りなく低い」としている。 障害が発生したのは午前7時10分ごろ。複数のNTT局舎内にある加入者収容装置が特殊なパケットを受信後にリブートした。フェイルオーバー機能が働き、自動的に別の装置に切り替わったものの、そちらも同じ障害が発生した。 NTT東では49拠点89台、NTT西は21拠点27台の加入者収容装置で同時に障害が発生し、ネット接続サービスの「フレッツ光」と光回線を使う電話サービス「ひかり電話」が一時つながりにくい状態になった。ひかり電話は緊急通報にも支障をきたし、消防庁が公式Twitterアカウントで「携帯電話や公衆電話の利用、消防への直接駆け込み」を促すツイートを

「Herokuの対応は遺憾」　Skeb障害、機会損失は1500万円相当　クラウド丸ごと乗り換え約18時間で解決 クリエイターに有償でイラストなどを発注できるサービス「Skeb」で12月23日から24日にかけて発生した障害について、運営元のスケブ（東京都千代田区）は24日、損失の詳細を公開した。 「Skebでは月間約5億円の取引があるが、今回の障害で1500万円相当の取引の機会損失が発生した。しかし、12月26日午前8時現在もHerokuから詳しい状況説明はなく、詳細な経緯は判明していない。厚いサポートをうたうエンタープライズ契約を締結しているにもかかわらず、このような対応は大変遺憾」（同社） 障害は23日午後12時22分から24日午前7時にかけて発生。期間中、ログインなどがしにくい状態だった。原因はサービスの提供に使っていたクラウドサービス「Heroku」のアカウントに起きた問題。「Ske

2022年6月27日、東京・立川市役所で大規模な通信障害が発生した。出先機関を含めた1000台以上のパソコンで終日、窓口作業ができなくなった。庁内LANの心臓部となるコアスイッチの障害が原因だった。コアスイッチに向けて大量の通信が発生し、メモリー不足に陥った。原因特定に時間がかかり、完全復旧に1週間を要した。 グループウエアの挙動がどうもおかしい――。東京都立川市役所の本庁舎内がざわつき始めたのは2022年6月27日、始業時刻である午前8時半ごろのことだ。ほどなく市役所のITインフラストラクチャー運営を担う総合政策部情報推進課のもとに、「窓口業務用の情報システムにアクセスしづらい」「内線電話が通じなくなった」といった職員らの困惑した声が続々と寄せられるようになった。 情報推進課はただちに障害箇所の特定に乗り出した。庁内ネットワークのメンテナンスを委託している保守事業者と連絡を取り合い、担当

こんにちは。メディアサービス開発部Webアプリケーション開発課の奥川です。ニコニコ漫画のバックエンド開発を担当しています。 2021年初頭、ニコニコ漫画である作品の連載が開始されました。それに端を発する数カ月間のサーバ障害により、ユーザーの皆様には大変ご迷惑をおかけしました。 少し前の話にはなりますが、当時ニコニコ漫画のサーバでは何が起こっていたのか、どのような対応を行ったのかを振り返ってみたいと思います。 1号棟（事の起こり） 2021/01/08 問題の作品（以後、「作品I」*1と記述します）の第1話が投稿されます。その過激な内容からSNSなどでは一部で話題になりましたが、まだニコニコ漫画へのアクセスも穏やかなものでした。 2021/01/22 その2週間後、「第2話（前編）」の公開から事件が起こります。 ピークタイム最中の12:22頃から、まずmemcachedがCPU Utiliz

NTT西日本は2022年8月25日、大規模な通信障害を引き起こした。30府県の最大211万回線でインターネット接続に支障を来した。発端は保守ネットワークにおける装置の収容数が推奨値を超えたことだった。1台の光伝送装置で動作が不安定となり、内部データベースの同期に失敗。ソフトウエアの不具合で装置が初期化され、顧客の通信にまで影響が及んだ。 「本当にご迷惑をおかけして、申し訳ございませんでした」。2022年9月30日、NTT西日本の森林正彰社長は8月25日に引き起こした通信障害に関して総務省から行政指導の文書を受け取り、記者団を前にこう陳謝した。 8月25日の通信障害は、NTT西日本の幅広い顧客に影響を与えた。「フレッツ光ネクスト」などの利用者が最大6時間近くにわたってインターネットに接続しづらくなった。同社は最大211万回線が影響を受けたと推計する。兵庫県や京都府など12府県の最大63万回線