はじめにTechnology Innovation Groupの八木です。 フューチャー社内の有志メンバーでログ設計ガイドラインを作成し公開しました！ ログは、システムの稼働状況を可視化し、トラブルが発生した際に迅速に原因特定するための生命線になります。しかし、その重要性の一方で、プロジェクトごとに設計がバラバラになりがちだったり、とりあえず標準出力しているだけになっていたりと、十分に活用しきれていないケースも多く見受けられます。 本記事では、今回公開したログ設計ガイドラインの背景や、現場で役立つ設計のポイントを抜粋してご紹介します。 ガイドライン作成のモチベーションこれまで、ログ設計は個々のエンジニアの経験則や、プロジェクトごとの慣習に委ねられることが多くありました。しかし、システムが複雑化し、マイクロサービスやクラウドネイティブな構成が当たり前になった現代において、ログの役割は「単なる

はじめに 最近、Jeremy Morrell氏の「A Practitioner's Guide to Wide Events」という記事を読んで、Wide Eventという概念に出会いました。 Observabilityの世界では「ログ・メトリクス・トレース」の3本柱が有名ですが、Wide Eventはこれらとは少し異なるアプローチを取ります。 この記事では、Wide Eventの概念を紹介しつつ、GoとOpenTelemetryでの実装方法を解説していきます。 Wide Eventとは Wide Eventとは、「関連しうる情報を可能な限り詰め込んだ構造化イベントのこと」です。構造化イベントという言葉はオブザーバビリティにおいては多義的なものですが、基本的にWide Eventを実装する際は、リクエストがきた時のスパン等のメインのスパンに対してなるべく多くの情報を付与しようという考え方で

自分が在籍している会社でKafkaを利用したマイクロサービスが増えてきているので、昔からオブザーバビリティの向上というものにちゃんと着手したかったのだが、最近になってやっと手を動かせる所まで優先度を上げられた。 という訳で、ここしばらくは社内にあるマイクロサービス群にOpenTelemetryによる計装を入れまくっている訳だが、大分可視化が進んできたので、これを社内のメンバーに周知しなければならない。 とは言え、説明したい内容が余りに一般的な知識なので、社内向けのクローズドなドキュメントとして書くのは勿体無いので、オープンなブログの方にまとめることにする。 (会社のテックブログに書いた方がいいのではという話はあるが、仕事っぽくなると面倒臭い……) 基本的にはOpenTelemetryの公式ドキュメントを自分なりに解釈して要点を絞る、という形で解説していくつもりなので、公式ドキュメントは一通

こんにちは、Dapr Advent Calendar 8日目です。今週は会社で全エンジニアとの1 on 1などやっており、なかなかの忙しさなのですが、何とかブログを続けられています！ DaprとZipkinで分散トレーシングをしてみよう 今回はDaprとZipkinを使って分散トレーシングをしてみます。最近色々なサービスやミドルウェアが分散トレーシングに対応するようになったので、だいぶ世の中に認知される技術になりましたよね。使ってるかどうかは別として😏 分散トレーシングやZipkinについての解説をすると長くなるので、あまりご存じないという方は先に調べておいてくださいね。 今回作成するアプリケーションのソースコードはgithubに置いてあります。 https://github.com/cero-t/dapr-advent-2021/ 今回は、過去に作成した「hello」「publish」

これは Livesense Advent Calendar 2024 DAY 19 の記事です。 はじめに 本記事で行わないこと 実装しようと思った背景 実装手順 タスク定義にバージョンタグを追加 GitHub Actionsからコミットハッシュをtask定義ファイルに渡す 実装結果 最後に 参考にした記事 はじめに 株式会社リブセンスに内定者インターンとして参加している小野です。 本記事では、Datadogを活用してアプリケーションのバージョントラッキングを実装する方法について解説します。 アプリケーション開発の過程でバージョン管理を行うことには、以下のようなメリットが存在します。 バージョンごとのパフォーマンスの監視 発生したエラーがいつリリースされたバージョンによるものなのかを監視 また今回の実装では、GitHubのコミットハッシュをバージョンとして表示する方針で進めます。 (技術ブ

こんにちはSREチームの宮後(@miya10kei)です。最近、7.1がリリースされて攻略に勤しんでいます⚔️ 今回はPark Directの非同期タスク処理に対するメトリクスの収集について紹介します！ 背景 Park Directでは非同期タスク処理にCeleryを採用し次の構成で利用しています。 非同期タスク処理の構成 機能拡張とサービス成長に伴い非同期タスクの量が日に日に増加しており、キュー詰まり（タスク登録数に処理が追いついていない）のような事象が起きていました。しかし、当時はタスクの処理件数や処理速度、キューにタスクが滞留していた時間といった基本的な情報を計測できていなかったため、正確には原因を把握できずにいました。 そこで、まずは実態を把握するために、必要なメトリクスを収集することにしました。 計測する情報 今回は次の4つのメトリクスを計測することにしました。 # 計測する情報

本記事は、2024年夏季インターンシッププログラムで勤務された俵 遼太さんによる寄稿です。 こんにちは、京都大学 工学部 電気電子工学科3回生の 俵 遼太 (id:walnuts1018) です。 今回、PFN 2024 夏期国内インターンシップに参加し、社内機械学習基盤の開発・運用を行うCluster Servicesチームにて、「Podごとのインターネットトラフィック量を計測するツールの開発」というテーマに取り組みました。 この記事では、社内のKubernetesクラスタにおける課題と、Podごとのインターネットトラフィック量を計測するために作成したツールについて紹介します。 社内のKubernetesクラスタにおける課題 社内の Kubernetes クラスタでは、複数のユーザーが同じクラスタを利用して様々なワークロードを動かしています。このような構成をとることで、マシンリソースの利

Observability を実現するためにアセットを活用しよう（AWS 秋の Observability 祭り ~明日使えるアセット祭り~ ）

オブザーバビリティについて説明すると「それモニタリングですよね」みたいなツッコミをされる穴があるので、なんらかの excuseをしたいのだが、本心では オブザーバビリティとモニタリングってそもそも類似点や相違点を語ること自体がおかしくないかと思っているよ。— 統合開発環境 (@sadnessOjisan) 2024年8月27日 これを見て オブザーバビリティってかっこよくカタカナで言わずに、可観測性の確保って言い続ければいいんだよ。— inductor / Kohei Ota (@_inductor_) 2024年8月28日 包含関係はある（つまり、可観測性の必須要素に監視はある）が、監視の主体とする目的が必ずしもすべて可観測性の実現によって解決されるとは限らなくて、目的が違う— inductor / Kohei Ota (@_inductor_) 2024年8月28日 って日本語で説明し

こんにちは！ シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ（Fluent Bit）を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa

セキュキャン2023でSysmonForLinuxを使った経験があり、プログラムの挙動ログを自作ロガーで取りたいなと思ったので、Go+ebpf-goで簡単なシステムコールロガーを実装した。eBPFもGoも初心者なのでコードが汚いのは御愛嬌。 コード全体 コードはここに書いた。記事作成時点のコードであって、最新版ではないので注意。 main.go package main import ( "bytes" _ "embed" "encoding/binary" "encoding/json" "fmt" "os" "os/signal" "syscall" "github.com/cilium/ebpf" "github.com/cilium/ebpf/link" "github.com/cilium/ebpf/ringbuf" "github.com/cilium/ebpf/rlimit"

イベント名: オブザーバビリティ再入門 - 大切さと高め方を知ろう！ イベントURL: https://mackerelio.connpass.com/event/316449/ 概要: 可観測性の概念を理解し、OpenTelemetryなどの実装に必要な道具があっても、自分たちのプロダクトやチーム…

株式会社サイバーエージェント AI事業本部 2024年度エンジニア新卒研修 オブザーバビリティ研修実践編（一部社内向けの内容）

Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2024 年 4 月 25 日に「AWS 春の Observability 祭り 2024 〜Observability 獲得までの旅〜」と題したイベントを開催しました。昨年秋に実施させていただいた AWS 秋のObservability 祭り以来の Observability をテーマにしたイベントになります。ご参加いただきました皆様には、改めて御礼申し上げます。昨年の開催報告ブログはこちら。 本ブログでは、その内容を簡単にご紹介しつつ、発表資料を公開致します。今回は、Observability の獲得プロセスをテーマに様々なセッションを行いました。Observability 獲得の全体像

既存GoプロジェクトにOpenTelemetryを計装する機会がありました。eBPFによる自動計装ではなく、手動計装を選んだ理由を説明します。 GoアプリケーションへのOpenTelemetry計装手段 Goにおいては、OpenTelemetryの自動計装が公式で用意されていません。公式サイトにAutomaticの章がないことからわかります。おそらく、ランタイムの制約で実行時にアプリケーションの挙動を変えることが難しいのでしょう。 トレースに十分なスパンを含めるために、現状では以下の2つの計装手段があります。既存のGoアプリケーションに導入する手間や影響範囲をイメージいただくために、概要に絞って解説します。 手動計装 eBPFによる自動計装（Work In Progres） 1. 手動計装 まず、OpenTelemetryのSDKをインストールし、セットアップをします。 func main

はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、

エージェントの振る舞いを読み解く！ Vertex AI Agent Engine と OpenTelemetry によるオブザーバビリティの実現 / getting-started-vertex-ai-agent-engine-with-opentelemetry