ゆるSE @yryrse 変更作業をする前、指差しして「サーバー名ヨシ」としてたら「なんで毎回それやってるんすか」と笑う新人。「毎回やるから意味があるんだよ」分からなくていい。俺は違うサーバに変更をかけて業務影響を出したヤツを知ってる。阿鼻叫喚の現場、鳴り止まない電話。遠くなる景色。そんな想いは、もう誰もしなくていい 2024-11-13 21:52:58

まさお @792cm176UDWwiCZ 「Aさんが退職したので会計システムがなくなりました」 Aさんが個人で某社パッケージを購入し導入していた（サーバもAさん個人のもの）。 ※クライアントの話ではありません。 #経理の怪談 2024-10-16 22:13:31

レバテック開発部DevOps推進グループSREチームの蒲生です。 このたびレバテックを退職することになりました。 今までやってきたことを振り返ることで、お前普段なんもやってなかったやろと思っている方への説明とまだまだやらなアカンことあるけど許してねって気持ちを吐き出したいなと思います。 初めてSREとして働き始めてからレバテック事業でのSREチーム結成、活動していくまでで「やってよかったな」と思ったことを紹介していきます。（僕個人ではなくチームでの取り組み） 「こうしておけばよかったな」という懺悔も混ぜておきます。 1. 監視体制作り 初めてのSREだったので定石通り、こちらのピラミッド通りにプラクティスを実践しました。 (O’Reilly Site Reliability Engineeringより) 簡単な状況 監視設定はCloudWatch CDKでリソースのCPUやメモリ、スレッド

りんご🍎 @r1ngo5656 社員が問い合わせする窓口が一箇所じゃないのほんと気持ち悪い。内部通報制度とかは別として、総務宛も経理宛もIT宛もぜんぶいったん一箇所に放り投げて仕分けしてあげるくらいがいい。 りんご🍎 @r1ngo5656 問い合わせ者が問い合わせ先を判断しろ、じゃなくて、『判断するのは受け取った先』でいいじゃんっておもう。組織によって仕分けが違うけどそれこそ学習させて処理したいー あとは担当部門ごとに情報を見せたがらないときのロール管理なんだよな。にんげんってめんどい

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全

Note 2024 年 6 月 1 日より、新しく作成されたすべての App Service アプリには、名前付け規則 <app-name>-<random-hash>.<region>.azurewebsites.net を使用して一意の既定のホスト名を生成するオプションが備わります。 既存のアプリ名は変更されません。 例: myapp-ds27dh7271aah175.westus-01.azurewebsites.net 詳細については、「App Service リソースの一意の既定のホスト名」を参照してください。 実行している App Service プランのサービス レベルが Standard、Premium、または Isolated である場合は、Web アプリ、Linux 上の Web アプリ、モバイル バック エンド、または API アプリを Azure App Servi

https://x.com/HighWiz/status/1817197569099051158 マリーアントワネット「検証機がないなら，本番環境を使えばいいじゃない。」 これに対し，日本のITエンジニアたちは激おこである。 そして大半が本番環境でテストをするのはけからんという話に終始している。これが日本の姿である。 まるでオライリーの「オブザーバビリティエンジニアリング」で書かれていた本番環境をガラスの城として扱っているパターンそのものって感じがある。 https://netflixtechblog.com/tagged/chaos-engineering 一方，Netflixのようなグローバル大企業はすべからく本番環境でテストを行っている。 彼らは惑星規模の計算資源とその上で稼働する大規模なマイクロサービスを運用しているので，事実上，本番環境と同等の検証環境を作ることができない。 さら

くわ @kuwamain ちなみに去年あった同じような事件とは違うサーバーです x.com/kuwamain/statu… x.com/kuwamain/statu… テスト運用していたGPUサーバー(ほかにも10台ぐらい)が全部90度になっていた 落ちてなかったのが奇跡... x.com/kuwamain/statu… くわ @kuwamain 今日のシステム障害の流れ 空調が死ぬ(ダイキンのエアコンって60日で切れるの？) ↓ 室温が上がりサーバー機が次々にオーバーヒートして停止 ↓ 9割以上の実機が死に冗長化が保てなくなりシステム停止 ↓ 全落ち☆ 簡単に言うと「我が名はアシタカ。節電のためにエアコンを止めた！」が発生した模様

起きたこと 僕が運営している『オンライン絵しりとり』というサイトで起きた話となります。 これは訪れたユーザー同士で絵しりとりを楽しめるサービスです。 ある日、このサービスをホスティングしているConoHaVPSより、規約に違反しているため利用を制限した旨のメールが届きました。 お客様のVPSにおきまして、弊社会員規約に反するコンテンツが 検出されましたので、ご利用サービスの制限をさせていただき ましたこと、ご連絡申しあげます。 そして、メールが届いたほぼ同時刻にサーバーが停止され、サービスへアクセスできない状態になりました。 メールによると、JASRACより著作権侵害に対する防止措置の申し出があったとのことです。 指摘対象のコンテンツを確認したところ、ユーザーがサイト内のチャットでYOASOBIの楽曲である『アイドル』の歌詞の一部を投稿しておりました。 ご覧の通り、話の流れで流行りの曲をみ

「江崎グリコ」は、基幹システムの障害で「プッチンプリン」などのすべての冷蔵商品が全国で出荷できない状態になっていることを明らかにしました。会社は、5月中旬の出荷再開を目指しているということです。 江崎グリコによりますと、全国の物流センターで出荷を停止しているのは ▽「カフェオーレ」や「プッチンプリン」など冷蔵商品のすべてに当たる82品目と ▽冷凍や常温の一部商品です。 4月3日に商品の流通などを管理する基幹システムを新しいものに切り替えた際にシステム障害が発生し、会社が復旧作業を進めていました。 18日、いったん出荷を再開しましたが ▽データの不具合が見つかったことや ▽受注分の処理が間に合わなかったことから 再び出荷を停止したということです。 会社は、5月中旬の冷蔵商品の出荷再開を目指して復旧作業に当たっています。 江崎グリコは「多大なご迷惑とご心配をおかけしており、おわび申し上げます。

black Mew @Liberty_skies 整備してる時に部品をはずしたら、外した覚えのない小さな部品が落下してきた時の俺と全く同じリアクションで草 やっぱプロもそうなるよな x.com/mirun1204/stat…

Offside🌻 @yfuruse 新幹線は東京・大阪間で毎晩、1,000人規模の保守担当者が線路のズレをなおして走ってる。 昔、国鉄の偉い人にこそっと聞いたんだ。「これ、一晩サボったらどうなります？」「翌日の一番列車が脱線転覆するね」 見えないところで知らない人に安全を守ってもらっているんだなと実感したんだけれどさ。 → Offside🌻 @yfuruse 病院なんかも清掃担当者がキモなわけよ。感染リスクを背負いながらの掃除だぜ。幼稚園なども同じ。こっちが驚くほど徹底して清掃して、大きな被害が出ることを防いでいる。まずそのことに感謝する気持ちをもてるかどうかが、ヒトとして大事なことと思う。 → Offside🌻 @yfuruse 定刻通りに新幹線が到着したら、感謝の気持ちをもってもいいと思うんだよね。うまくいっても誰もホメず、遅延したときだけボロカスに言われるなんて、割にあわない。

はじめに 現在はAWSで構築されたシステムの運用保守業務に携わっており、その一環として障害調査を行うことが多々あります。 少しは経験値が上がったため、障害が発生した際に初動で確認する事項をまとめてみました。 インフラ基盤観点で障害調査を行うさいの参考になれば幸いです。 前提条件 当システムの構成は以下となっているため、それに即した調査項目となっています。 ALB/NLB・ECS・RDSを利用している ECSはEC2上で実行している（Fargateでは利用していない） ECSクラスター（以下クラスター）の自動スケーリング設定をしている ECS サービス（以下サービス）の自動スケーリング設定をしている RDSはAuroraを利用している また、障害は予期せぬコンテナの停止を想定しています。 NLB/ALBの調査事項 メトリクス 初めにロードバランサーのメトリクスからターゲットの状態を確認します

最近「いかに運用作業に手を抜くか」というのを考えているので、なんとなーくアウトプットしてみようと思う。 運用作業とは? 運用作業はゼロが理想だけど、そーもいかない 運用を頑張りすぎてしまうエンジニア pospomeはどうしているか? まとめ 運用作業とは? 自分が想定する "運用作業" というのは機能開発に関係ない作業全般である。 例えば以下の作業は "運用" にカテゴライズしていいと思う。 ソフトウェアのバージョンアップ ユニットテストの実装・保守 問い合わせ対応 リファクタリング 運用作業はゼロが理想だけど、そーもいかない 自分は運用作業がゼロになるのが理想だと思っている。 可能であれば、機能開発にすべての工数を投じて、自身が開発するプロダクトを進化させていきたい。 ただ、運用作業をゼロにするのは不可能である。 ソフトウェアのバージョンアップは定期的にしなければいけないし、リファクタリ

システム運用のインシデント管理の説明です。 インシデント管理に限らず管理全般に言えることですが、何の目的で管理するのかを明確にすることが重要です。管理のための管理になってしまうと、管理される側のモチベーションが下がり、形骸化してしまいます。 １．インシデント管理の管理対象 インシデント管理は、通常、インシデント管理表と呼ばれるものを用いて管理をします。インシデント管理表に事象と対応内容を記載することで、次に同様のインシデントが発生した場合、速やかに同じ対応を実施することができるようになります。 例えば、ログにエラーメッセージが出た場合、インシデント管理表で該当のエラーメッセージを検索し、過去の対応内容を参照して同じ対応を実施する、といった感じです。 インシデント管理表には、「発生日／発見日」「発生時刻／発見時刻」「発見者」「分類」「インシデント内容」「業務影響」「対応状況」「対応者」「対応

愛媛県庁でおよそ５０年にわたって税金の計算や会計業務などに使われてきた大型の演算装置、電子計算機の運用が２０日で終了となり県庁で催しが行われました。 愛媛県庁の機械室に設置されている電子計算機は、縦およそ１メートル８０センチ、横およそ６０センチで、複雑なデータ処理を高速で行うことができ、昭和４８年の導入からおよそ５０年にわたって税金の計算や会計業務などに使われてきました。 県は、さらに職員や県民の利便性を高めるため電子計算機に代わる新たなシステムを導入していて、電子計算機の運用が２０日で終了されることになり、県庁に職員や企業の関係者が集まって催しが行われました。 このなかで県デジタル変革担当の山名富士部長が「愛媛県政を縁の下で支えてきたシステムが役割を終えるのは寂しい。長年のサポートに感謝したい」とあいさつしました。 このあと山名部長が大型の電子計算機の電源を切り業務を終えました。 【元職

2024年2月14日、宮城県石巻市は2023年9月に発生したシステム障害について原因がSSDの重大なファームウエア不具合であったと公表しました。ここでは関連する情報をまとめます。 重大な不具合情報が共有されずシステム障害発生 2023年9月当時にシステム障害が発生したのは石巻市本庁内で稼働する戸籍情報システム。システムが稼働するサーバー上で使用していたSSDの不具合によりバックアップサーバーを含めてシステム停止が起こり、市役所やコンビニなどで戸籍証明書の発行が行えない事態となった。2日後には最新の戸籍証明書の写しは発行できるようになった*1ものの、完全復旧（除籍や改製原戸籍の証明書発行）には約1か月（2023年9月20日～2023年10月18日）を要することとなった。 障害影響が長期化した理由として、市は当該システム上で取り扱うデータが戸籍にかかわるもので、復旧方法および突合などに万全を期

1984年生まれ。2008年にJAXAに入社し、約9年半勤務した後、2017年にカラーへ入社。有限会社ゼクシズに出向し、『あさがおと加瀬さん。』に制作進行として携わった後、カラーに復帰。『シン・エヴァンゲリオン劇場版』の制作進行を担当。2023年7月にプロジェクトとしての『シン・エヴァ』映画制作を振り返る公式報告書籍『プロジェクト・シン・エヴァンゲリオン』を上梓。2023年11月下旬に株式会社カラーを退社、以降フリーランスとなる。 SNSアカウント：＠Narita_Kazumasa 書籍公式サイト: https://www.khara.co.jp/project-eva/ 電子版詳細：https://www.khara.co.jp/2023/07/10/2023071018/ ニコニコ動画開発者がシステムを再設計　まずビジョンから アニメ制作のデジタル化は1990年代ごろから急速に進んでお

PHPカンファレンス関西2024での発表資料です https://fortee.jp/phpcon-kansai2024/proposal/42712995-5f3e-4c68-a951-39584eac95a1

これまで数多くのシステム障害を復旧してきました。 障害は無いに越したことは無いですし、起こらないように最善を尽くすのが我々エンジニアの使命です。 しかし、どれだけ最善を尽くしても起こる時には起こります。 今回は、これまで数多くの障害を復旧させてきたエンジニアが、復旧作業時に何を考えているのかを改めて言語化してみたいと思います。 こういう情報ってそれぞれのエンジニアの頭の中にあってあまり共有されないので、意外に参考になるかなと思います。 障害復旧対応の醍醐味 表現が適切かは分かりませんが、僕はシステム障害を復旧させるのが大好きです。目の前に起こっている事象からヒントを集め、地道に原因を切り分けてクリティカルヒットを見つけたときは名探偵になった爽快感があります。 加えて、動いているものを常に動かし続ける日頃の保守運用とは異なり、動いてないマイナスの状況を0まで戻すということで、復旧成功した際に