5月14-15日に開催されたSREの国内カンファレンス SRE NEXT 2022 ONLINEにて、「AIOps研究録―SREのためのシステム障害の自動原因診断」と題して、ITシステムに障害が発生した際に、機械学習・統計解析の手法を用いて、障害の原因を自動で診断するための研究について講演しました。 講演に用いたスライド資料を以下に公開しています。 当日に配信された講演動画は、Youtubeに公開されています。 なお、この記事では、AIOpsという用語を、機械学習や統計解析をはじめとするAI（人工知能）と呼ばれる技術を用いて、ITオペレーターのオペレーション作業を自動化あるいは支援する技術の総称として使っています。 なぜAIOpsに着目したのか 自分が、統計や機械学習をはじめとするAIと呼ばれる技術をSRE分野に適用することを漠然と考えはじめたのは、2017年ごろでした。当時、今後のSRE

SRE NEXT Logo はじめに こんにちは！SRE NEXT 2022実行委員会委員長のnari です。 先日、SRE NEXT公式Twitter アカウントにてSRE NEXT 2022の5/14,15の日程でのオンライン開催が発表され、オフィシャルサイトも公開されました！ この投稿では、なぜ我々はSRE NEXT 2022を開催するのか・どんなカンファレンスにしたいかを書いていきます。*1 2022/2/7追記: スポンサー募集開始しました SRE NEXT 2022 スポンサー応募フォーム 2022/2/7追記: CFP Openしました SRE NEXT 2022 の CFP についてのご案内 - SRE NEXT Staff Blog SRE NEXTとは 信頼性に関するプラクティスに深い関心を持つエンジニアのためのカンファレンスであり、同じくコミュニティベースのSRE勉強

こんにちは、メルペイでSREとして従事している @myoshida です。この記事は Merpay Tech Openness Month 2021 の8日目の記事です。 SREチームはお客さまへよりよいサービス利用体験を提供するため、日々様々な改善活動に取り組んでいます。その活動の一環としてPlaybookの概念を導入し、運用者の運用負担を減らす取り組みを始めました。今回はそのことについて説明してみたいと思います。 概要 メルペイではアプリケーションエンジニアとSREの双方がオンコール制度のもと運用に携わっています。 運用の悩みは様々ですが、そのうちの1つに手順書の取り扱いがあります。 どこに置くべきか、更新はされているのか、何を書けばいいのか、どの場面でどの手順書を利用すればよいのかというような悩みはどこの現場でも少なからず存在すると思います。 そこで、Playbookと呼ばれる体系的

2021年7月27日 DMM meetup #31 での発表内容です

こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信頼するIAM RoleにAssumeRoleする。 AssumeRoleによって得られた一時的な強い権限で、強い権限を要求する作業(Deploy, Terraform Apply)をGithub Actionsで行う。 これにより、Github Actions上にAWSのアクセスキーを置かずに、ある程度安全な方法でAWS上での強い権限を要求する操作を実行できます。 そのため、例えばGithub Repositoryに不正アクセスされてしまったとしても、AWSの本番環

こんにちは！！ BASE株式会社 SREチーム エンジニアリングマネージャの富塚(@tomy103rider)です。 2021年3月現在、SREチームは私含め3名で、最近私は成長するサービスを一緒に支えていって頂けるSREの仲間を求めて採用などをメインに業務を行っています。 はじめに 突然ですが、皆さんのチームの求人票は誰が作っていますか？そしてそれを読んだことはありますか？ 思い出してみると元々のSREチームの求人票は私と前のマネージャが考えて作ったものでした。 その内容を改めて確認すると、 見ていただいている方に現在のSREチームの思いが伝わる内容だろうか？ チームのメンバー自身も迎えたい仲間のイメージができる内容だろうか？ 採用に関わるCTOにもそのイメージは共有できているだろうか？ などと感じる部分が出てきたため、このタイミングで見直してアップデートすることにしました。 今回はこの

mixiの清水さんがSRE NEXT 2020で発表されていたスライドを見て感じたことをメモする． ログの扱い https://speakerdeck.com/isaoshimizu/what-can-sre-do-to-build-and-maintain-a-secure-web-system 49 ページより引用 ログに認証情報や個人情報をはじめとする機密情報を出力しない．ログを大量に出力するとコスト(お金)に影響が生じる． koyamaの脳内 役立つログを適切な粒度で出力するよう適切な設定が必要になりそう．この粒度を適切に決めるのは，熟練したソフトウェア開発者しか出来ないのでは?複数メンバーが参加するソフトウェアプロジェクトで認識を統一するのは難しい．開発用のデバッグログもプロダクションで出力すると機密情報になるので，動作モードによって出力するログも制御すべきということかな．開発環

UberのSRE（サイト信頼性エンジニア、サイトリライアビリティエンジニア）として、マイクロサービスの本番対応向上を担当していた著者が、その取り組みから得られた知見をまとめたものです。モノリス（一枚岩）を複数のマイクロサービスに分割した後に、安定性、信頼性、スケーラビリティ、耐障害性、パフォーマンス、監視、ドキュメント、大惨事対応を備えたシステムにするために必要な原則と標準に焦点を当て、本番対応力のあるマイクロサービスを構築する手法を紹介します。本書で採用している原則と標準は、マイクロサービスだけなく多くのサービスやアプリケーションの改善にも威力を発揮します。 はじめに 1章　マイクロサービス 1.1　モノリスからマイクロサービスへ 1.2　マイクロサービスアーキテクチャ 1.3　マイクロサービスエコシステム 1.3.1　レイヤ 1：ハードウェア 1.3.2　レイヤ 2：通信 1.3.3　

※この投稿は米国時間 2020 年 5 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 分散システムには数多くの設計方法が存在しますが、その一つにシステムの自然な拡張を考慮した設計があります。この方法では、システムがより多くのリクエストを処理していくにつれて、コンポーネントの書き換えや再設計を行います。また、概念実証から始める手法もあります。システムによってビジネスに付加価値がもたらされたら、次のバージョンがゼロから設計されます。 Google では、Non-Abstract Large System Design（NALSD）と呼ばれる手法を使用しています。NALSD は、分散コンピューティング向けの Borg クラスタ管理や Google の分散ファイル システムなど、分散システムの設計、検証、評価を行うための反復プロセスについて記述しています。最初から

1月25日に開催されたSRE NEXT 2020 IN TOKYOにて、「分散アプリケーションの信頼性観測技術に関する研究」と題して、基調講演をさせていただきました。 これまで一環してWebオペレーション・SREに取り組んできて、今ではSRE Researcherと名乗っている身からすると、国内初のSREのカンファレンスで基調講演にお声がけいただいたことは大変名誉なことだと思っています。 基調講演について カンファレンスの基調講演は実ははじめての経験で、どのような発表をするかについては、いくらか逡巡することになりました。 SRE NEXTのオーガナイザーをされている@katsuhisa__さんからは、現在僕が取り組んでいる研究内容や、その研究背景として考えていることを講演してほしいという期待をいただきました。 同時に、カンファレンスのタイトルに含まれる「NEXT」には、参加者の皆様とSRE

SRE実践の手引 ─ 信頼性をどう制御するか？ から始める、現実的な指標と目標の設計と計測 SREの役割には、信頼性、SLIとSLO、エラーバジェット、トイル、ソフトウェアエンジニアリングといった複数のキーワードが存在するがゆえ、なかなかうまく実践できない、という声もあります。本稿では、難しく見られがちなSREの内実を、「信頼性の制御」というコンセプトを軸に整理し、小さく始める一歩を坪内佑樹（ゆううき）さんが解説します。 こんにちは。SREの研究者をやっているゆううき（@yuuk1t）です。 SRE（Site Reliability Engineering）は、従来のオペレーションエンジニア、システム管理者（sysadmin）と呼ばれる人々が担っていた技術領域の新しい形です。Googleによって提唱され、日本国内でも2015年ごろからWebコンテンツ事業者のコミュニティを中心に広く知られる

※この投稿は米国時間 2019 年 1 月 26 日に Google Cloud blog に投稿されたものの抄訳です。 このたび、『The Site Reliability Workbook』がウェブサイトで閲覧できるようになりました。Google で生まれ、他の企業にも広まりつつある Site Reliability Engineering（SRE）は、運用上の問題をソフトウェア的に解決するためのエンジニアリングであり、Google におけるエンジニアリングの本質的な部分を占めています。 SRE は考え方であり、一連のプラクティスやメトリクスであり、システムの信頼性を保証するための処方箋でもあります。SRE モデルを構築すれば、サービスの信頼性が向上し、運用コストが下がり、人間が行う作業の価値が高くなって、サービスとチームの双方で大きなメリットが得られます。上述の新しいワークブックは、

最高のITエンジニアリングとは、ユーザーへの価値提供に最大限集中できる状態を維持し続ける技術だと私は考えます。では、その状態を阻害する要因は一体何であり、どうすれば取り除くことができるのでしょうか。このような具体的な問題と向き合い、近年注目されているSRE の考え方を取り入れ、実装しながら乗り越えてきた…

SREを実践するための手引きとなる書籍「Site Reliability Engineering Workbook」をGoogleが無料公開、8月23日まで 「Site Reliability Engineering」（SRE）は、積極的にコードを書きソフトウェアをおもなツールとすることで高い信頼性を備え十分な性能を発揮するインフラを実現するという、Googleが提唱している方法論です。 GoogleはこのSREを普及させるためのWebサイトを公開しており、そこでSREの教科書的な存在であるオライリーの書籍「Site Reiability Engineering」を、今年の1月から無料公開しています。 参考： Google、書籍「Site Reliability Engineering」の無料公開を開始。インフラや運用をソフトウェアで改善していく新しいアプローチ GoogleはこのSREの

10 open-source Kubernetes tools for highly effective SRE and Ops TeamsAbhishek Tiwari Technology 10.59350/wf01f-emx26 Crossref PDF January 6, 2018 Citation: Tiwari, Abhishek. '10 open-source Kubernetes tools for highly effective SRE and Ops Teams'. Abhishek Tiwari, January 2018. https://doi.org/10.59350/wf01f-emx26. If you are running workloads in Kubernetes, your site reliability engineering (SRE

ssmjp 201712 はたのさん祭での「運用現場におけるSRE本の「正しい」読み方」発表資料です。 詳細: https://www.opslab.jp/publish/20171212-ssmjp-sre.html (運用設計ラボ合同会社 波田野裕一)

hbstudy#76 第76回： SRE大全: XFLAG スタジオ編 https://hbstudy.connpass.com/event/62338/

セールスエンジニア 改め Customer Reliability Engineer (CRE) シニアエンジニアの id:a-know です。この記事ではまだ馴染みの薄い、Customer Reliability Engineer とは何か・なぜ名称を変更したのか・CREとして はてな で働くということ、といったことについて紹介したいと思います。 （ご本人に事前に承諾をいただき、株式会社メルカリ SREチーム・@kazeburoさんが書かれた記事 に敬意を表した導入文にさせていただきました。ありがとうございます！） Customer Reliability Engineer とは何か Customer Reliability Engineer (CRE) という役職は、かのGoogleが先駆けて考案、発表したことはみなさんの記憶にも新しいかと思いますが、とはいえまだまだ広くは知られていな