2020年10月1日、東京証券取引所はアローヘッドの機器故障によりシステム障害が発生し、終日売買を停止すると発表しました。故障した機器は交換が行われ、取引は翌日再開されています。ここでは関連する情報をまとめます。 機器故障起きるも縮退運用に失敗 障害概要図 アローヘッド内の共有ディスク装置1号機で機器故障が発生した。実際故障したのはサーバー上のメモリ周辺機器とされる。 1号機故障により両現用で稼働していた2号機のみのフェールオーバー（縮退運用）が行われるはずだったが何らかの問題により行われなかった。 共有ディスク装置を使用する相場配信、売買監視のシステムで障害が発生。 障害復旧時に発生する注文データ消失による市場混乱を避けるため当日終日の取引停止の措置を実施。（遮断） フェールオーバー失敗原因は設定ミス フェールオーバーに失敗した理由が特定できたとして10月5日に発表。 障害発生時のフェー

システム障害を起こしたのは基幹系システム「大阪市統合基盤システム」である。2015年1月に運用を開始し、住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。 同システムのOracle Databaseはログイン時の認証に必要なデータや印刷履歴などを管理している。今回の障害により、区役所や出張所などで住民票などの発行ができなくなり、7994件の発行業務に影響が出た。 同システムで2019年6月7日の午後0時5分ごろに発生したシステム障害では、2ノードあるDBサーバーがほぼ同時に停止した。担当者が再起動を試みたが再起動できなかった。 この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。システム開発を担当したNT

札幌市で2019年1月4日に起こった住民票の発行などができなくなるシステム障害は、データベースソフトの一部機能の誤作動が原因であると分かった。

シンジです。sshを利用してサーバーへアクセスする際、IDとパスワードでrootにダイレクトアクセスさせてるケースもままあるでしょうが、監査も通らないし乗っ取りリスク高すぎ問題なので辞めたいところです。クラウドを日常的に利用する方々の場合、通常は証明書認証によってサーバーログインを行っていると思います。証明書ファイルが次々と増えていく問題、証明書ファイルを手に入れれば多くの人がサーバーにログインできちゃう問題は目をつぶるしかないのか。 そこでエンプラなどでは、「踏み台サーバー」を作って、そこでアクセス権限をコントロールすることで、サーバーログインへの統制を図るわけですが、第一踏み台から第二踏み台へそして第三踏み台とかいう絶望も現実的に存在している実状です。そもそも、エンプラが踏み台サーバーを自前で作るわけがなく、そういう製品を購入して作ってもらう、はい数千万円、保守費毎年よろしくみたいな世

tcpdpのprobeモードで、CPUが100%に張り付くという問題（結果、原因としてはしょうもないミス）がありました。 機能としては正しく動いているので、単純にテストケースを増やしてもどうにもならず、pprofを使って原因となっている箇所を絞り込んでみました。 本エントリはその記録です。なお、原因特定の問題としてはおそらく初級レベルだと思います（わからない）。 現状把握 tcpdp probe は tcpdump のようにインターフェースに流れるパケットをキャプチャするコマンドです。 ところが、以下のように実行したら、まだパケットを流していないのにCPUが100%に張り付きます。 $ sudo tcpdp probe -c t.toml Password: 2018-09-30T00:40:42.199+0900 info Starting probe. interface: lo0,

Windowsのログ管理ツールをJPCERT/CCが公開、サイバー攻撃の挙動調査に役立つ：Windows用ツールを分かりやすくする JPCERT/CCは、Windowsのログ収集ツール「Sysmon」のログを管理、分析するツール「SysmonSearch」を公開した。複数のWindows端末のログを一元管理でき、監視ルールに基づいて定期的に検索する機能も備える。 JPCERTコーディネーションセンター（以下、JPCERT/CC）は2018年9月6日、Microsoftが提供するWindowsのログ収集ツール「Sysmon」が出力するログを管理、分析するツール「SysmonSearch」を公開した。サイバー攻撃を受けたときなどに、複数の端末のログを一元的に管理し、分析できる。GitHubからダウンロード可能だ。 Sysmonは端末上で動作したアプリケーションの情報やレジストリエントリの作成、

SREって、具体的にどんな仕事する人たちなの？：【新連載】リクルート流、SREコトハジメ（1/3 ページ） インフラ構築や運用に必要なコストが変わってきている昨今、運用技術者に求められる役割が変わりつつあります。それが「SRE」です。日本ではまだまだ一般的ではない概念ですが、本連載ではリクルートグループの例を通じて、その実態をお伝えしていきます。 ITインフラにおけるクラウド活用が一般的になりつつある昨今、インフラにおける日々の運用業務は、クラウド事業者に任せられるようになりました。インフラを使うために必要な設定は、クラウドであればツールやAPIを介して使えます。 アプリケーション開発者でもインフラ構築や運用ができる――今、運用技術者に求められる役割が大きく変わろうとしています。そんな中、Google発で「SRE」というキーワードが出てきました。 SREとは「サイト・リライアビリティ・エン

リスト型としては リスト と、 キー・バリューリスト の2種類ありますが、リスト型を選択しました。 キー・バリューリストは値にリスト選択肢文字が割り当てられるため、選択肢文字の設定を変更すると既に登録済みのチケットの内容も変更されます。 とても便利な機能ですが、インシデント管理ではそれぞれのチケットは内容を変更せず、記録として残すべき対象と考えられます。 今回はあえてリスト型を採用しています。 設定例：情報源 設定例：事象経過 カスタムフィールド作成画面で対象となるトラッカーとプロジェクトにチェックを入れることで利用可能になります。 表示フィールドのカスタマイズ 画面上に不必要なものが表示されていると操作者は混乱してしまいます。これらを整理します。 まずトラッカーとワークフローで不必要なフィールドを消しましょう。 トラッカー 使用するトラッカーにて標準フィールドの項目から使用しないフィール

この記事は Mackerel Advent Calendar 2017 の 12/14 の記事です。 はじめに Mackerel はサーバの監視を行うサービスです。サーバの負荷だけでなくあらゆるリソースの値をメトリクスとして収集し、グラフによる見える化、監視、アラーム送信といったインテグレーションを行うサービスです。Mackerel にメトリクスを送信する mackerel-agent はプラグイン方式を採用しており、色々なメトリクスを Mackerel に送信する事が出来ます。提供されているプラグインには既に色々な物が用意されていて、導入するだけで直ぐに監視を行う事が出来る様になっています。尚、今年は @soudai1025 さんが25日まるまる mackerel plugin だけの Advent Calendar を書いています。各プラグインの README だけでは伝わりづらい色々

14. MySQLの⾯倒を⾒る #とは DBに特化した（広義の）インフラデザイン バックアップの頻度, 保管先, ..etc. + その実装- 監視, リソースモニタリング, ..etc. + その実装- mikasafabric for MySQL + MySQL Router- メジャーバージョンアップの検証とか、Percona Serverとか MariaDBとか - DBに特化したショット作業 吊るしの ALTER TABLE 以外を使ったテーブル定義の更新 < 5.6 だったり、テーブルが⼤きすぎてレプリケーションが詰まったりするケース - スロークエリーチューニング- マイナーバージョンアップ- 13/63

Azureの北欧州データセンターで、定期メンテナンス時に予期せぬ消火剤放出が発生。空調停止を引き起こし、温度上昇でサーバ群が停止するという障害を引き起こした。 Microsoft Azureの北欧州データセンターで9月29日の13時27分から20時15分まで約7時間にわたり、一部の顧客において仮想マシンやAzure Backup、Azure Functionsなど多数のサービス障害が発生したとの事象が「Azure status history」で報告されています。 原因は、データセンターの定期メンテナンス時に予期せず消火剤の放出が発生し、それがきっかけとなって空調が停止。停止した区画の温度上昇により一部のサーバやストレージが停止するというものでした。 データセンター内のさまざまな部分で自動化が進んだ結果、ある問題が自動的に次の問題を引き起こす将棋倒しのような状況を見ると、データセンターの自

osqueryの紹介 https://builderscon.io/tokyo/2017/session/ce1bf3ee-33bd-4899-897d-ba3c4364c1c5

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは

電力小売りの全面自由化が始まった2016年4月以降トラブルが続いていた、東京電力パワーグリッド（東電PG）の「託送業務システム」。新たに小売り事業に参入した企業が、顧客の電気使用量を入手できず、料金を請求できない事態に陥った。 本来なら、電力メーターから集められた電気使用量のデータは託送業務システムに集約され、小売電気事業者に通知されるはず。しかし、その機能が正常に機能しないケースが多発した。未通知件数は、最大時に3万件にのぼったという。 その東電PGが2017年6月9日、システムの不具合や再発防止策などをまとめた報告書資料を公表した。東電PGは「これが（一連のトラブルの）総括となる」としている。 東電PGのシステムで何が起きていたのか。その原因が見えてきた。 一部データのコピー処理ができない 託送業務システム内部における不具合のうち、最も大きなものは、内部に複数あるデータベース（DB）間

こんにちは。ウェブアプリケーションエンジニアのid:masawadaです。普段は、はてなブログチームで開発を行なっています。 今回は、日々の開発で生まれた困りごとを解消するために作ったyarn-outdated-formatterというツールを紹介します。 経緯 以前id:amagitakayosiが「フロントエンドPodcastはじめました - Hatena Developer Blog」にて書いたとおり、はてなには現在「フロントエンドエンジニア」という肩書きのメンバーはいません。はてなブログチームでも全員がバックエンド(Perl)とフロントエンド(JavaScript)両方のコードを書いており、どちらかというとバックエンドがメインのためクライアントサイドは片手間になりがちという問題がありました。 そこで、チーム内でFWG(フロントエンド・ワーキング・グループ)という会を組織しました。F

膨大なシステムアラート、対応すべきはたった3％だった　IIJの運用管理を激変させた“効率化のワザ”（1/2 ページ） オンプレミスからクラウドサービスまでハイブリッドシステム環境の運用を担当するIT部門の現場。複雑化する一方の運用管理をラクにする方法はあるのか。 クラウドサービスは今や、企業にとって当たり前のシステム基盤になりつつある。昨今は、全てのシステムをオンプレミス環境だけで構築している企業を探すほうが難しいかもしれない。 経営判断のスピードを上げたり、業務部門の生産性を高めたりと、ビジネスのさまざまな現場で効果を上げているクラウドだが、その運用管理の複雑さはIT部門の業務に大きな影を落としている。クラウドサービスやオンプレミス環境があちこちに散在するハイブリッド環境の運用管理はたやすいことではないからだ。 「運用の効率化も考えてクラウドサービスを導入したはずなのに、運用負荷は高まる

世界140カ国以上の地域に100以上配置されているマイクロソフトのデータセンター（DC）。ここで、Microsoft Azureのほか、Office 365、OneDrive、Bingなど同社のクラウドサービスが運用されている。今回は、思わず誰かに話したくなる「Azureデータセンターのトリビア」を集めてみた。教えてくれるのは、マイクロソフトテクノロジーセンター センター長の澤円さんだ（聞き手、アスキー羽野三千世）。 AzureのDCは・・・「知られざる謎の組織」が運用している 澤さん：AzureのDCは“知られざる謎の組織”によって構築、運用されています。この組織は「MCIO（Microsoft Cloud Infrastructure and Operations）」という名称で確かにマイクロソフト社内に存在しているのですが、MCIOに誰が所属しているのかは、社員にも知らされていません

はじめに クラウドファンディングプラットフォーム Makuake でウェブオペレーションをメインで担当している吉田慶章 ( @kakakakakku ) です．Developers Blog では，過去に『Well-Architected を目指した改善と組織文化への影響』を執筆したり，『「経営層を巻き込まないと開発組織は変わらない」――急成長するクラウドファンディングサービス「Makuake」エンジニアが社長と取り組んだこと』で組織変革をテーマにしたインタビューを受けたりしています．今回はサービスで使っているデータベースを MySQL 5.5 on EC2 から Amazon Aurora（以下，Aurora）に完全に移行した事例を紹介したいと思います．既にリリースをして約1ヶ月稼働していますが，大きな問題もなく安定稼働しています． 背景 例えばウェブサーバなど，既にスケールアウトが前提