どのような事前準備をしているか 有事の際は想定外のことが発生しやすく、事前準備をしていないと冷静な対応が難しくなります。 いきなりしっかりした事前準備をすることは難しいので、徐々に成熟度を上げていきます。 本章では以下の観点で、事前準備についてご紹介します。 手順書 自動化 訓練 手順書 フローやチェックリストを含む手順書を準備しています。 手順書の内容は後述します。 分かりやすい手順書を準備することも重要ですが、その手順書への導線づくりも大切にしています。 運用周りのドキュメントは数が多く、目的のドキュメントが埋もれてしまい他のメンバーが見つけられない場合があるからです。 周知に加えて、ドキュメントの階層を見直したり、特定チャンネルに手順書の URL をピン留めしておくなど、手順書に辿り着きやすくする工夫をしています。 分かりやすい手順書の書き方については、以下のブログが参考になります。

直接の原因は知らないので非エンジニア向けの戯言、はいはい嘘松程度に聞き流してくれ。 タイトルは釣りみたいなもんだ。データも客観的な観測もない。本当の理由なんて外部からわかるはずがない。 単に一個人が中の人らに酒を注がれつつグチられた内容の総集編だ。 前提として、社会インフラ系のIT基盤は設計や運用に企業体質が出やすい。 わかりやすいのはSuicaとかで、ハードウェアのFelicaこそソニーの技術だが、Suicaのシステムアーキテクチャは完全に鉄道屋のそれだ。 アプリやWebなんぞは使い勝手がイマイチだが、Suica自体のシステムダウンで首都圏の自動改札が全滅、復旧するまで使えませーん、なんて事態は聞いたことがないだろう。 安全が全てに優先する。 そういう作りにしてあるのだ。 じゃあみずほ銀行はどうなってるかというと、とりあえず止めない、安定運用できたら3社統合の負債を返そうとする、それだけ

日本取引所グループは同日、調査結果を踏まえ、再発防止策などを検討する調査委員会を設置した。委員長の久保利英明弁護士をはじめ、4人の社外取締役で構成する。 関連記事 東証、10月2日は通常通りの売買へ システム障害を起こし全銘柄の売買を停止していた東京証券取引所は、明日、10月2日は通常通り売買を行うと発表した。 東証のシステム障害、解消は「明日以降」　「バックアップへの切り替え」で異常 東京証券取引所が、システム障害について「明日以降、正常な売買ができるよう対応している」と発表した。 東証にシステム障害　終日、全銘柄売買停止に【更新】 東京証券取引所は10月1日、相場情報に障害が発生したため、朝から全銘柄の売買を停止している。1日は終日売買停止となる。復旧については未定。 “東証を変えた男”が語る、金融業界の伝説「arrowhead」誕生の舞台裏――“決して落としてはならないシステム”がで

良太郎 @ryota_hnk 自称インフラエンジニア。googleなけりゃタダの人。 普段はNew Relicという会社で働いてます。headtonirvana.hatenablog.com qiita.com/ryota_hnk lapras.com/public/2ZM2JJP

太平洋時間7月17日の午後、ルーターの設定ミスによりCloudflareのネットワークの50％が停止する大規模な障害が発生しました。この障害により、DiscordやFeedlyといった大型サイトが一時利用不可能になったと報じられています。 Cloudflare outage on July 17, 2020 https://blog.cloudflare.com/cloudflare-outage-on-july-17-2020/ Cloudflare DNS outage impacts Feedly, Tumblr, Discord, and more - DCD https://www.datacenterdynamics.com/en/news/cloudflare-dns-outage-impacts-feedly-tumblr-discord-and-more/ Cloudfl

2018.10.22 5:30AM 本件、記事を取り下げます。 2018年10月21日に投稿したこの記事でしたが、複数の方のご指摘により、2018年10月の東証システム障害の原因が書かれていると思っていた記事が2012年の記事であることに気が付きました。 そうすると、前提が大きく変わってくるので本記事はいったん取り下げます。 申し訳ありません。 今後、詳しい原因が報道されたときに、再度考えたいと思います。 はてなブックマークでご指摘いただきました方、ありがとうございました。 猛省いたします。 2018.10.23 11:15PM 日経XTECHにて詳しい原因が掲載されております。 有料記事ですが期間限定で公開されていますので、ご覧ください。 tech.nikkeibp.co.jp

障害発生が明らかになって５日目、ようやく復旧したシステムを使って残務に追われる職員（２７日、坂井市役所で） 福井県あわら市、坂井市、永平寺町、おおい町で証明書発行といった住民サービスが利用できなくなり、庁内業務を含めて計９市町に影響したシステムの障害は、発生から１週間が過ぎた３０日にようやく完全復旧となる見通しだ。県と全１７市町の業務に関わる民間のシステム会社で発生した通信障害はほぼ１週間に及び、原因も解明されておらず、現代社会を支える情報通信技術が抱えるもろさを露呈した。 ◆失態 「復旧作業は順調に進んでいる。明朝には解決する」。運用する福井システムズ（坂井市）はトラブルを公表した２３日以降、楽観的な見通しを示しては翌朝に撤回、という失態を繰り返した。 障害の発生は２２日未明。各役場の休みにデータをやりとりする会社のサーバーのソフトを更新しようとして突然、システムが使えなくなった。丸一日

HDDがある日突然ファイルが読めなくなった。言われてみれば予兆はあった。Picasaでファイルを開くと奇妙に遅いとかである。しかし、USB接続していたのでS.M.A.R.T.も読んでなかったし、音もちゃんと聞いていなかった。なによりバックアップを取っていなかった。そういう状況で、突然ファイルは見えなくなった。なので、とにかくぶっ壊れたディスクから中身を吸いださねばならない。 以下の内容は作者の個人的体験を記述したものです。またコマンドはあなたのPCのデータを破壊する可能性があります。コマンド例を信用せずよく自身で調べ自身の責任のもとで実行してください。 修復業者 HDDの修復業者はあっちこっちで広告を出しているものの、結局のところオントラックというところに頼むのがいいという事は分かった。ただ、オントラックはハイクオリティ・ハイペイメントである。個人相手には「ディスカウント」しているが、それ

GitHubが1月28日のサービス障害の詳細を公開。停電により内部のChatOpsシステムも落ちて初期対応が困難に。Redisクラスタの復旧に時間 報告では、サービス障害はGitHub社内のChatOpsシステムも巻き込んで初期対応に時間がかかってしまったこと、一時的な停電がRedisクラスタの障害を引き起こしたため、その究明と復旧が作業の主な部分だったことなどが説明されています。 報告の要点をまとめました。 内部のChatOpsシステムも障害に GitHubのサービス障害は、すでに報告されているように、自社データセンターにおける一時的な停電が最初の原因でした。 At 00:23am UTC on Thursday, January 28th, 2016 (4:23pm PST, Wednesday, January 27th) our primary data center experi

KDDIは6月10日、4月末以降に立て続けに起こしたLTE通信障害に関する説明会を開催した。同日はKDDI代表取締役社長の田中孝司氏が登壇し、一連の通信障害を謝罪するとともに、それぞれの障害の原因や今後の対策などを自らの口で語った。 同社は4月27日、5月29日、5月30日に、東京都、神奈川県、山梨県の一部で、au 4G LTE対応機種（iOS/Android）のデータ通信サービスが利用できない、または利用しづらい状況となる障害を起こした。また5月29日はデータ通信に加えて音声通信サービスも利用できなかった。 田中氏は、4月16～19日に全国で発生したメール障害や4月27日のLTE通信障害を受け、4月30日の決算会見で再発防止を約束したばかり。しかし、そのそのわずか1カ月後に再び障害を起こした。「経営の最重要課題として取り組んだ矢先でのLTE通信障害ということで大変申し訳なく思っている」（

「弊社としても、お客様が安心してご利用頂けない現状を痛切に感じており、一日も早く正常化を目指しておりますが、現在は課金をさせて頂ける状況ではないと判断致しました。つきましては3月1日に遡り、当面の間は「さくらのクラウド利用料」について無償化させて頂くことをご報告致します」ということで、なんと「さくらのクラウド」が無償化されてしまいました。 さくらのクラウドの現状報告および課金対応について | IaaS型パブリッククラウド「さくらのクラウド」 http://cloud.sakura.ad.jp/news/sakurainfo/newsentry.php?id=622 無償化せざるを得なくなってしまった経緯は以下のように説明されています。 既に掲載のとおり、データを格納するストレージのパフォーマンス低下により、 頻繁に負荷が増大する状況が続いております。 その為、改善を図ることを目的としたファ

WEBエンジニア社長 小山内裕 のブログ。IT(情報技術)、Management(経営)、Human(人)のバランスを尊重させ、全てを戦略的に成長させるべく日々奮闘中。 Windowsサーバーにローカルログオンして、sys でOracle データベースに接続しようとしたらできない。 【症状】 1) SQL*Plusを立ち上げる。 2) データベースへの接続を試みる SQL>conn /@sid as sysdba 3) しかし、「ORA-01031: insufficient privileges」 と表示され接続できない。 【解決策】 Windowsサーバーに、「ora_dba」ローカルグループを作成する。 ローカル管理者アカウントを「ora_dba」ローカルグループに追加する。 sqlnet.ora に「sqlnet.authentication_services = (NTS)」を追

Applies To: Windows Server 2003 with SP1 What does DCDiag.exe do? This command-line tool analyzes the state of one or all domain controllers in a forest and reports any problems to assist in troubleshooting. DCDiag.exe consists of a variety of tests that can be run individually or as part of a suite to verify domain controller health. Tool location The DCDiag command-line tool is included when you

Active DirectoryドメインにWindows XPクライアントがログオンするときには、DNSベースでドメインコントローラを検索してkerberos認証を行い、そのあとグループポリシーを適用します。ログオンに何分も時間がかかってしまう場合、この流れがうまくいっていないために起こることが普通です。ドメインコントローラ側に異常がない前提であれば、ログオンの流れに添って、切り分けを行う方法があります。 ドメインコントローラの確認 まず、現在ログオンしているドメインコントローラを確認します。ドメインコントローラを確認するには、echo %logonserver% コマンドを使いますが、Windows XPでは "高速ログオン機能" があるため "前回ログオンしたドメインコントローラ" が表示されることがあるので、注意が必要です。 図1　echo %logonserver%コマンド C:\