2025.08.01 技術記事 AWS ElastiCache for Redis から Valkey への移行 [DeNA インフラ SRE] by yayohei #infrastructure #sre #aws #elasticache #redis #valkey #infra-quality 移行トラブルに関する追加情報 (2025/09/22 更新) 移行トラブルに関する追加情報を追記しました。 再現手順と対応方法まとめ 弊社にてテストを行い移行時のトラブルを再現することができました。 現象から推測するとプライマリへの書き込みが頻繁に発生している状態でアップデートを行うと、プライマリの接続が Valkey に切り替わった後にすでに接続済みのプライマリ接続の読み込みにて 30 秒程度の反映遅延が確認できました。 遅延時間については、本番で数分程度の反映遅延があったことも確認して

株式会社ヘンリーでSREをしている戸田（id:eller）です。ひとりめSREとしてヘンリーにジョインしてから約3年、現在ではSREも3人のチームになりました。それでも事業計画に対してはまだ足りていないので、SREエンジニア採用を継続的に行っています。 私がSREチームを作るのは前職から続けて2回目なのですが、いずれの場合でも重要だと考えていることがあり、カジュアル面談でもよく話しています。今回はそのエッセンスをまとめて、同業はもちろん弊社への転職を検討されている方にも参考にしていただければと思っています。 前提としての「チームの目的」 チームを作っていくためには、そのチームの目的や存在意義を明確にする必要があります。SREチームであれば、何のSite Reliabilityをなぜ、どのようにしたいかを明確にする必要があります。 そしてこれらを明確にするためには、事業やサービスについての理

こんにちは。LayerX AI・LLM事業部 SREのshinyorke（しんよーく）と申します。 現在はAI・LLM事業部のAIプラットフォーム「Ai Workforce」1人目のSREとして、 SRE（Site Reliability Engineering）の戦略策定と導入、実装。 企業への導入に際する技術的なサポート・伴走。 SREチーム立ち上げの為の組織作り。より具体的にはSREの採用と育成。 以上のミッションを担っています、入社から現在までの営みはこちらのブログで紹介しています。 tech.layerx.co.jp 一人目SREとして情報とノウハウを泥臭く取りに行きながら、さっさと行動して少しずつSREのプラクティスを浸透させましょう。というスタンスで泥臭く、時にはパワフルにやってきた話を前回のブログでは紹介させてもらいました。私達の行動指針的には「Trustful Team」

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 Software Development AI Agent 流行していますね。SDAA と略す人はいなさそうですが、SDAA という略称が広まってほしいものです。 そのような流れに乗るべく、SRE とされている私も SDAA を使いこなしたいと思います。 Devin が有名ですが、スモールスタートしたかったので OSS の OpenHands を使ってみます。 OpenHands が何をしてくれるかは公式リポジトリから引用します。 OpenHands agents can do anything a human developer can: modify code, run commands, browse the web, call APIs, and

こんにちは。SREチームマネージャーの角井です。 2/21(金)に開催されたゆるSRE勉強会#9で会場スポンサーとして協賛し、ミニブース出展とスポンサーLTで参加させていただきました！ スポンサーLTでは、私から「Amplify で SPA をホスティングする際の注意点」というタイトルで発表させていただきました。当日の運営とミニブース出展には、採用広報の広瀬さんとSREチームの吉澤さんも応援に駆けつけてくれました。 今回はこのスポンサーLTの内容と、現地の様子や参加メンバーによるおすすめセッションをご紹介します。これからゆるSRE勉強会へ参加する方や、今回来られなかった方の参考になれば幸いです。 ゆるSRE勉強会#9会場の様子 スポンサーLT 「Amplify で SPA をホスティングする際の注意点」 質疑応答と反響 Q: 発表中でCLIと仰っていたのは、何のCLIのことですか？ Q:

自社プロダクトのSRE意外と初めてなので学び直してるの巻 先月の真ん中ぐらいから新天地のLayerX AI・LLM事業部*1でSRE（Site Reliability Engineering）を主とするエンジニアとして新たなキャリアを歩み始めました（報告したブログはこちら）. 「野球エンジニアやってた人」「バックエンドからインフラから機械学習まで割となんでもやってるマン」が大筋な自分のPublic Image（=多くの方の認知）であり, 自分から見てもそれは事実かなぁー, なのですが. 「何故SREというキャリアを選んだの?」っていう話はあまりしていない気がしているので, それを語ろう！というのがこのエントリーの主旨となります. TL;DR SREを選んだ理由 IC or EMなら何でも良かった転職活動 SREポジションに対する需要と難しさ やりたいことはSREだった SREとして学び直し

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 プロダクトの規模が小さいと1人 SRE という体制は珍しくないと思います。 1人で何が辛いかというと、相談相手やレビュー相手がいないことです。ですので、最近は AI/LLM に相手をしてもらっています。 運用に使っている Lambda 関数や Terraform のコードをレビューしてみたり（※1）、エラー発生時の1次対応をお願いしてみたり（※2）しています。 ※1 プルリクしたら Bedrock にコードレビューしてもらいたい ※2 AIOps入門 AWS Bedrock で障害分析 私は毎朝のタスクとして、ダッシュボードチェックを行っています。 平日なら前日分、土日祝日なら2〜3日分のメトリクスを眺めながら、異常な挙動はないか、パフォーマンス劣化が起き

🌟 はじめに 本記事は CyberAgent Group SRE Advent Calendar 2024 の13日目 の記事になります。 本記事では SWE（Software Engineer）である私が 『SREをはじめよう―個人と組織による信頼性獲得への第一歩』 を読んで、SREについての理解を深めた経験を共有します。エンジニア・非エンジニア・社会人・学生など、さまざまなバックグラウンドを持つ方にとって「必ずどこか心に刺さる部分があるのではないか...！」と思い、是非皆さんにも読んで頂きたいというという思いを込めて執筆しました。 私は普段、SWE として働いていますが、以前から SRE に強い興味を抱いていました。 今年は SRE Next 2024 に足を運び実際に SRE の方々とお話しする機会を得たり、Cloud Native Days Winter 2024 の資料を拝見し

本記事はBASEアドベントカレンダー2024の14日目の記事です。 はじめに BASE の Product Dev Division でエンジニアリングマネージャー（EM）をしている @tanden です。 Product Dev Division では、ここ 1 年ほどサービスレベルマネジメントの取り組みを有志メンバーを中心としたチームで進めてきました。この記事では、サービスレベルマネジメントの取り組みの一貫として行ったアラート品質改善についてまとめています。 SLI/SLO設定のその前に サービスレベルマネジメント（SLM）というと SLI/SLO について最初に思い浮かぶ方も多いのではないでしょうか。ただ、SLI/SLO の設定にトライされたことがある方はご理解いただけると思いますが、組織として納得感を持ってかつ効果的な形で設定するのは非常に難しい作業になります。また一度設定して終わ

MIXI GROUPには、様々な経歴のメンバーが所属しています。それぞれの専門性やスキルを手に転職を決めた方々は、どのような経歴で、そしてなぜMIXI GROUPを選んだのでしょうか。中途入社した方々に「転職を考えたきっかけ」「入社を決めた理由」「入社後に感じたこと」を聞く『なんでMIXIに？』。 今回はエンジニア・コンサルティング経験を経てMIXIにSREとして入社した開発本部の吉井亮さんにお話を聞きました。 吉井 亮　開発本部 CTO室 SREグループ HW メーカーの FE ～ SIer ～ ERP 〜 AWS パートナーを経て2023年7月に株式会社MIXIに入社。サーバー機器からクラウドまでインフラ関連の業務に携わる。現在はSREとして社内やお客様の課題を二人三脚で解決する日々です。好きな言葉は “No human labor is no human error.” ターニングポ

Mackerel チームで SRE を担当している id:taxintt と申します。 はてなの SRE が毎月交代でブログ記事を書く Hatena Developer Blog の SRE 連載、3月分は私が担当します。2月の記事は id:masayosu さんの はてなにおけるEKSの運用と自動化 (2024年版) でした。 私が所属する Mackerel 開発チームでは、SaaS 型サーバー監視サービスである Mackerel を開発しています。 Mackerel は、テレメトリデータの計装・収集の標準化を目的としたプロジェクトである OpenTelemetry 対応のための開発を進めています。この記事では、OpenTelemetry のメトリックを扱うサブシステムの開発における SLI/SLO の決定・運用についてお話しします。 mackerel.io OpenTelemetry

概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB

ハイクラス求人TOPIT記事一覧Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformは、パブリッククラウドのインフラ構築と自動化のツールとして、IaCのデファクトスタンダードとなっています。この記事では、AWS（Amazon Web Services）を活用するハンズオンを通してTerraformの動作を理解し、実務にもとづいて役立つ機能や便利なエコシステム、さらにSRE視点の事例を紹介します。アソビュー株式会社でSREユニットリーダーを務める鈴木剛志さんを中心に6名のメンバーによる共同執筆です。 アイキャッチ画像 アソビューでは、インフラストラクチャーの変更管理にTerrafo

SREチームがNew Relicを使って AWSコスト最適化に貢献した話 株式会社ニューズピックス 安藤 裕紀 NRUG (New Relic User Group) SRE支部 Vol.3 - 2023.6.27(Tue)

この記事はMackerel Advent Calendar 2022とKAYAC Advent Calendar 2022 の7日目です。 こんにちは、SREチーム所属の@mashiikeです。 前年の Mackerel Advent Calendar 2021 ではSREにおいて大事なSLO/エラーバジェットをMackerelのメトリックとして投稿するツール shimesaba について話しました。 1年経って、Mackerelを用いたSLI/SLO/エラーバジェットの運用が安定化してくると、次に気になってくるのはトイルだと思います。 cloud.google.com 「トイルとは、手作業、繰り返される、自動化が可能、戦術的、長期的な価値がない、サービスの成長に比例して増加する、といった特徴を持つ作業です。」 トイルの例としては次のようなものがあります。 ・割り当てリクエストの処理 ・デ

ミクシィの大規模サービスを支えるSREとしてキャリアを積みませんか？ 株式会社MIXI @mixi I want to hear a detailed なにをやっているのか ミクシィグループは、1997年の創業以来、国内有数のSNS「mixi」やスマホアプリ「モンスターストライク」など、友人や家族といった親しい仲間と一緒に楽しむコミュニケーションサービスを提供してきました。 《主な事業領域》 【デジタルエンターテインメント】 世界累計利⽤者数5,500万⼈を突破した「モンスターストライク」や共闘ことばRPG 「コトダマン」などのサービスを展開しています。これらはコミュニケーションツールとして、親しい友人達と一緒に遊べるスマホアプリとなっているのが特長です。また、アプリの枠に留まらず、マーチャンダイジングやリアルイベントをはじめ、動画・アニメの配信、そして他社IPや異業種とのコラボレーション

ビズリーチ事業部のSREチームは、スクラムを導入して1年が経ち、タスクの可視化と脱属人化を実現しました。 導入にあたって何をしたのか、開発チームとは異なる工夫が必要だったところはどこか、導入後何が変わったのかを振り返ってみました。 ビズリーチ事業部のSREチームについて 「ビズリーチ」を担当していて、SRE(Site Reliability Engineer)としてアプリケーションエンジニアと共にプロダクトの継続的な成長のため信頼性・可用性の向上、自動化、効率化などに取り組んでいます。 なお、チームの構成は以下のようになっています。 開発者: SREチームのメンバー(5人) PO: SREチームのマネージャー スクラムマスター: 社内横断組織に所属している専任のスクラムマスター SREチームが抱えていた課題とスクラムの導入目的 まず、SREチームがスクラムを導入した背景を説明します。 PO