サマリ 社内イベント楽しい！ Datadog Tシャツもらった！ profilerがすごい！あるリクエスト中のCPU使用率を関数単位で見れるぞ！ トレースクエリの検索機能もすごい！AからBに対するリクエストという検索ができるぞ！ Datadogのロゴのかわいいワンちゃんは bits という名前だぞ！これだけでも覚えて帰ってくれ！ Datadogのロゴ。このかわいいワンちゃんはbits。bitsくん、bitsちゃんではなく概念的存在（真偽不明） あいさつ こんにちは。freee申告・所得税の開発をしています。新卒二年目のsuzakiです。 所得税というと定額減税とか103万の壁とかのヤツですね。 自分は愛知県に住んでいるので普段は中部オフィスに出社しています。 24新卒の中で中部オフィスで勤務しているのは自分だけなので、大崎オフィスにいる同期に会えるイベントには飛びつきます。 さて、4/21

LAPRAS株式会社でSREをしていますyktakaha4と申します🐧 みなさんの会社ではSLOやエラーバジェットに関する運用をおこなっていますでしょうか？ おなじみSRE本にも謳われる通り、これらは機能開発とシステムの信頼性維持をコントロールするための非常に優れた方法ですが、 エラーバジェットが枯渇してしまった時に、解決に向けてプロダクトチームやSREがどのように振る舞うべきか については踏み込んで言及されておらず、組織の形態にあわせてよりよい適用方法を模索する必要があるものと思います 今回は、（残念ながら😿）弊社で実際に発生した エラーバジェット枯渇と、それに伴う本番環境への機能フリーズ事例 をご紹介します 自社サービス開発をおこなっている組織におけるモデルケース のひとつとして参考になる部分があれば幸いです🚙 フリーズから解除に至るまで ことのおこり 弊社では、エンジニア向けポ

メディア統括本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、SRE としてチームへ参加した時に SLI/SLO をチーム内で浸透を行うまでのステップを具体的な資料やテンプレートを用いて説明した社内向け資料を、いくらか情報を制限してご紹介します。

id:cohalzです。この記事は、はてなのSREが毎月交代で書いているSRE連載の2025年1月号の記事です。 2024年にはこのHatena Developer BlogにてSRE連載と言う毎月一回交代でSRE関連のブログ記事を書く企画を開始しました。 今回はその連載記事の紹介と工夫について紹介していきます。 記事一覧 id:hagihala はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 developer.hatenastaff.com readonlyメンテはめちゃくちゃ強力な武器だなと思っているので社内外でももっと広まって欲しいですね。あと0年や10000年も考慮しないといけないというのはまず役に立たない知識でこれも面白かったです。 id:masayosu はてなにおけるEKSの運用と自動化 (2024年版) developer.haten

株式会社CAM サイトリライビリティエンジニア 岡 麦 2022年に新卒入社。サイバーエージェントの子会社・株式会社CAMのSREチームに所属し、おもに社内向けプラットフォームの運用や保守に携わる。 X:@mugiokax 近年、システムの安定稼働に貢献するオブザーバビリティという概念に関心が高まっている。 昨年10月29、30日にわたって開催された「CyberAgent Developer Conference 2024」では、同社のSREチームの岡麦氏が、社内開発者向けプラットフォームにおけるIstioとDatadogを活用した統合的なオブザーバビリティの手法について紹介した。 株式会社CAMは2000年の設立以降、エンタメ、ビジネス、ライフスタイルの分野を中心にメディア開発やコンテンツ制作などを手がけてきた。社内開発者向けプラットフォーム「Fensi Platform」上には20以上

エンジニア大好き「推測するな、計測せよ」。これは、Plan 9, UTF-8やGoの作者としても知られる、Rob Pike氏の Rob Pikes's 5 Rules of ProgrammingのRule 2.に由来すると認識している。以下に原文を引用する。 Rule 2. Measure. Don't tune for speed until you've measured, and even then don't unless one part of the code overwhelms the rest. Rob Pike's 5 Rules of Programming 訳すと以下のようになる。 「計測せよ。計測するまでチューニングをするな、そしてそこが支配的じゃないならチューニングするな。」 要は「チューニングする前に計測せよ」という主張で「推測」と言う言葉は出てこない。なの

はじめに こんにちは。SREの gumamon です！ NewRelic、Datadog、モダンな監視ツール(オブザーバビリティ)って良いですよね。弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきたのですが、NewRelic、Datadog等のクラウドサービスはランニングコストが高くなりがちです。 では内製できないかやってみよう！・・・というようなことを昨年度から取り組んでいたのですが、やっとこさ形になりましたので改めてブログで紹介させて頂こうと思います。 今回ご紹介するのは、大まかなシステムの構成と設計時の観点です。各コンポーネントの詳細や工夫できた点などについては、改めて別の記事でご紹介できればと思います。 また、「オブザーバビリティとは？」や「試行錯誤の過程」については、以前執筆した以下のブログをご参照ください。 tech-blog.raku

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推

公開日 2024/01/24更新日 2024/12/02あのサービスの監視・オブザーバビリティ アーキテクチャ選定【前編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 今回の特集記事では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティの仕組みとして各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてお伺いしました。 自社に近いアーキテクチャやどのようにツールを活用しているかについて、実際の事例を元に参考になれば幸いです。 なお、後編も近いうちに公開させていただきますのでお楽しみに。 合同会社DMM.com（DMMブックス）会員限定コンテンツ無料登録して

イオンスマートテクノロジー・SREチームでリーダーを務める香西のインタビューです。来期にむけたSREチームのミッションや行動指針に込められた想い、入社時のエピソード、行動力の源泉などを伺いました。

この記事は、CyberAgent Group SRE Advent Calendar 2023の7日目の記事です。 4年ぶりに、AWS re:Inventに現地参加していたのですが、今年のWerner先生のKeynote（特に前半）がとてもよく、SREを推進する上でも非常に大事なことをお話しされていたので、それについてまとめてみました AWS re:Invent 2023 - Keynote with Dr. Werner Vogels ざっくりどんな事を話していたか クラウド移行によって、様々な制約からは解放されたが、コストを考えてアーキテクトする必要はある そしてコストを考えるということは、サステナビリティを考えることでもある といった感じで、コストとサステナビリティについての話から、WenerがAmazon CTOとして、過去20年間のアーキテクトする上でのコストと持続可能性の考え方

こんにちは。SRE部の巣立（@ksudate）です。 我々のチームでは、AWS上で多数のマイクロサービスを構築・運用しています。マイクロサービスが増えるにつれて、CI/CDの長期化やリリース手法の分散など様々な課題に直面しました。 本記事では、それらの課題をどのように解決したのかを紹介します。 目次 目次 はじめに CI/CDのこれまで Release PRによるリリース CI/CD実行時間の長期化 マイクロサービスごとのリリースが難しい リリーサーの制限ができない ドメイン単位の並行リリース リリース手法が分散する ブランチ間の同期が必要 パイプラインの増加 CI/CD実行時間の長期化 リリーサーを制限できない CI/CDの刷新 高速かつシンプルなCIパイプライン 変更差分を利用したCIパイプラインの実行 承認機能付きのCDパイプライン GitHub Environmentsによるリリー

SREチームの藤原です。今回は監視サービスのMackerelと、障害発生時に担当者へのオンコールを自動化するGrafana OnCallを連携してみた話です。SRE連載 6月号になります。 3行でまとめ MackerelとGrafana OnCallを連携しました MackerelのアラートWebhookをGrafana OnCallのWebhookに変換するproxyをAWS Lambdaで作りました。OSSで公開しています Grafana OnCallの管理はTerraformでやっています はじめに カヤックでは、運用しているサービスの監視のためにMackerelを利用しています。サービスで障害が発生した場合に担当者を呼び出す(オンコール)ためのツールとして、2023年3月までは ryotarai/waker を使用していました。 wakerはもともとクックパッド社で利用されるために

SRE NEXT 2023で発表した内容です。 https://www.youtube.com/live/c_oMpshssRg?si=LfArG3rX4VXPJ30H&t=27643

サイバーエージェントは創業来、インターネット産業の拡大とともに事業成長を続けてきました。またそれと同時に、SRE領域へも注力してきました。SRE Technology Mapは、サイバーエージェントのSREチームの取り組みを知ってもらうことを期待して製作しています。 Developer Experts of SRE 柘植 翔太 Shota Tsuge サイバーエージェントが提供する幅広い事業サービスの信頼性向上に、私達SREsは日々取り組んでいます。事業領域や事業フェーズ、組織規模が異なれば、SREsのアプローチも違ってきます。それぞれのSRE組織が、様々な課題解決に取り組んだことによって得られた知見や考え方などを多くの人に知ってもらいたいと考え、「SRE Technology Map」を作成しました。 「SRE Technology Map」を通して、少しでもサイバーエージェントに興味を

このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。

自分の関わるアプリケーションやインフラのモニタリングに困っている？　オーケイ、冒頭からアクセル全開の力強いワードにあふれたこの一冊を紹介するぜ！ はじめに 今年(2023年)の1月末に発売されたこちらの本、もう読まれたという方も多いのではないでしょうか！（挨拶 本記事は、まだ読まれていない、買ってもいないという方に向けて、「紹介しなきゃ」という謎の強い使命感をもって書かれています。 というのも、実は本記事の執筆者（ぼくです）は、300ページを越えるこの本のまだ半分ほどしか読むことが出来ていません。。！ *1 それでもこの本を紹介するモチベーションは十分です。なにしろ、この本は冒頭から、もっといえば「まえがき」の段階から、パワーワードにあふれた一冊だからです。引用してみましょう。 “（「オブザーバビリティ」という）用語が注目されるようになると、ある種の隣接性を共有する別の用語と互換的に使われ

はじめに こんにちは、Google CloudでオブザーバビリティとSREの担当をしているものです。今日は去年仕事でやってたものがようやっと表にでたのでその紹介をします。 「SREエンタープライズロードマップ」がでました Enterprise Roadmap to SREの日本語訳が公開されました。本レポートはSREに関して、その技術的立ち位置、導入する理由、必要なプロセス、文化、事例など、幅広く大局観を与えるコンパクトなレポートとなっています。ぜひご一読ください。#SRE #DevOps #GoogleCloudhttps://t.co/Lo1yY40CF4— Google Site Reliability Engineering (@googlesre) 2023年1月25日 「SREエンタープライズロードマップ」はかねてより "Enterprise Roadmap to SRE" と