はじめに 今回のスコア Grafana・Loki活用Tips 表示範囲内のログ全てから統計値を計算する レスポンスが遅かったログを特定する スロークエリログの統計値も計算したい 当日やったこと 今後の展望 はじめに これはあくあたん工房アドベントカレンダー 2024 13日目の記事です。他の記事も面白いので、是非見ていってください。 今回のスコア 今年も過去回↓と同じくtaxio、shanpuと3人でチームツナ缶として出場しました。 poyo.hatenablog.jp 最高得点2万点くらい、最終スコア17110点で、おそらく80位前後くらい58位（ChatGPT調べ）くらいでした（failが多かったよう）。惨敗です。 Grafana・Loki活用Tips やっていることは前回と大きく変わらないのですが、いくつか改善を入れているのでそれを紹介します。 表示範囲内のログ全てから統計値を計算す

はじめに こんにちは。SREの gumamon です！ NewRelic、Datadog、モダンな監視ツール(オブザーバビリティ)って良いですよね。弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきたのですが、NewRelic、Datadog等のクラウドサービスはランニングコストが高くなりがちです。 では内製できないかやってみよう！・・・というようなことを昨年度から取り組んでいたのですが、やっとこさ形になりましたので改めてブログで紹介させて頂こうと思います。 今回ご紹介するのは、大まかなシステムの構成と設計時の観点です。各コンポーネントの詳細や工夫できた点などについては、改めて別の記事でご紹介できればと思います。 また、「オブザーバビリティとは？」や「試行錯誤の過程」については、以前執筆した以下のブログをご参照ください。 tech-blog.raku

オープンソースのオブザーバビリティソフトウェアの未来を一緒に築きましょう 求人情報 私たちがサポートしているオープンソースプロジェクトをチェックしてください ダウンロード

技術部の染矢です。研修中にドット絵を作っていたと思えば、いつの間にか技術研修をする側になっていました。なんとまあ、時の流れというのは恐ろしいものでしょうか。 ペパボでは今年から新卒技術研修の一環として「オブザーバビリティ研修」を実施することにしました。ペパボの中では新しい取り組みであるため、オブザーバビリティ研修のみの内容で一記事を執筆することにしました。他の研修内容も含めたまとめ記事も近いうちに公開されることでしょう。 この記事では、オブザーバビリティ研修を新卒技術研修に組み込んだ意図と、研修内容、また研修設計時に考えていたことを紹介します。 オブザーバビリティ研修を取り入れた背景 ペパボの新卒技術研修では複数の技術を学びます。WebアプリケーションフレームワークからWebフロントエンド、インフラ、機械学習など幅広い技術を、実際に手を動かしながら習得します。 昨年までの研修で、次の課題が

Click here for English version 既存のRRDtool のデータを利用して、Grafana で(比較的？)手軽に可視化する方法です。 以下3つを組み合わせて使用します。手順の説明は CentOS の利用を想定しています。 RRDtool RRDtool は、画像を出力する使い方が一般的かと思いますが、JSON でのデータ出力にも対応(ver1.4.6以降)しています。 今回はもう少し新しめのver1.5.6を使用します。 Grafana 数多くの時系列データベース(Graphite, OpenTSDB, Influxdb etc.)をサポートしていますが、プラグインを導入することで、その幅をさらに広げることができます。 その中の一つに SimpleJSON というものがあり、指定した URL から JSON 形式のデータを取得し、グラフ化することができます。 G

この記事は MIXI DEVELOPERS Advent Calendar 2022 6 日目の記事です。 負荷試験を行う機会が年に何度かあるのですが、以前まではvegetaを使っていましたがちょっと高めの負荷をかけた時の挙動がよろしくなく、k6を試してみたところ不満が無かったので最近はk6を常用しています。 そんなk6をもうちょっと使いこなすために色々とまとめてみようかと思います。 k6とは？ Grafana Labsが開発した負荷ツール。 github.com ツール自体はGo製で、負荷シナリオをJavaScriptで書きます。 負荷シナリオはk6 Browser RecorderというChrome拡張を使えばブラウジングしているだけで作成可能で、k6 Cloudを使ったWeb上でのシナリオ作成・管理・実行が可能です。 わざわざGitHub上でシナリオを管理しなくてもいいというのは個人

こんにちは、RHEL のテクニカルサポートを担当している岡田です。 前回のパート1では Performance Co-Pilot (PCP) で取得したパフォーマンスメトリクスを Grafana を使って可視化する方法をご紹介しました。パート1は1つのホストのパフォーマンスデータをリアルタイムに可視化する方法についてでしたが、今回のパート2では複数のホストのパフォーマンスデータを過去のデータも含めて可視化する方法をご紹介しています。「あの時のあのホストの負荷状況ってどうだったんだろう？」というような疑問をもったときに、それをあとから Grafana のダッシュボードで確認することができます。ぜひ試してみてください！ www.redhat.com

こんにちは、SPEEDAのSREチームの阿南です。前回から少し時間が経ってしまいましたが、今回はKubernetesのメトリクス取得についてです。本番環境でkubernetesを運用する際、ポッドがどの程度リソースを消費しているのか、クラスター自体のリソースは大丈夫かなど常に把握しておく必要があります。ただ、Kubernetesってどう監視すればいいのって疑問ありますよね。PrometheusとかGrafanaとかよく出てきて概要は理解できるんだけど、実際どう構築すればいいの、とお悩みの方に役立つ記事にしたいと思います。ちなみに弊社ではRancher上にKubernetes環境を本番で利用していますが、大枠は今回紹介するような構成で運用しています。 構築する環境 構築手順 Kubernetesの認証方式について ConfigMap設定 Deployment設定 Service設定とポート解

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

@takkyです。 前回の記事で@yamatoが社内勉強会についての記事を執筆していました。 allabout-tech.hatenablog.com 今回は勉強会の1つであるTeam TechRaderで、TECHNOLOGY RADAR NOV'16の共有会を行ったので、 結果を報告したいと思います。 TECHNOLOGY RADARとは www.thoughtworks.com TECHNOLOGY RADERとはThoughtWorks社が発表している技術トレンド分析の調査結果になります。 年1-2回発表しており、2016年は4月と11月に発表されました。 ユニークな点は、技術トレンドの分析を Techniques(開発手法) / Tools(ツール) / Platforms (プラットフォーム) / Languages & Frameworks(言語とフレームワーク) の4分野に

システム管理者は多くのサーバから随時データを受信してその健康状態を判断しなければなりません。サービスの負荷があがっていないか、ストレージは十分にあるか、データベースがボトルネックになっていないかなど判断材料は多数あります。 そうしたデータを逐一サーバにログインして確認していては時間がかかってしまいますので、データダッシュボードソフトウェアが使われます。今回はその一つ、Grafanaを紹介します。 Grafanaのインストール Grafanaのインストール方法は幾つも用意されています。CentOS/Ubuntuなど各Linuxディストリビューションごとにパッケージも提供されていますし、Dockerを使ったインストールも行えます。 # macOSの場合 brew update brew install grafana brew services start grafana # Dockerの場

この記事はCyberAgent Developers Advent Calendar 2016 24日目の記事です。23日目はdekatotoroさんの「Apple TV – tvOS入門」でした。 こんにちは、AbemaTVサーバサイドエンジニアのギアです。 去年は新卒のiOSエンジニアとして、「ReactiveCocoaとMVVMモデル」という記事を書きましたが、今年はサーバサイドに関することを書きます。 はじめに この前にAbemaTVはモニタリング・アラートのため、主にStackdriver, Bugsnag, StatusCakeというサービスを使っています。しかし、Stackdriverはデフォルトである程度のGCP (Google Cloud Platform) 上のリソースに対するメトリクスしかありません。各マイクサービス間の通信やサービスのカスタマイズメトリクスなどのアプ

7. Grafana 3.0 • Next release version • Plugin support! – Datasource plugin • http://docs.grafana.org/v3.0/plugins/datasources/ – Panel plugin • http://docs.grafana.org/v3.0/plugins/panels/

用途的には以前にやってみたKibana/Elasticsearchとも重複するところだけど、まあ色々の事情で。 blue1st.hateblo.jp ひとまず環境構築+テストデータ投入+グラフ化まで体験してみた感じでは直感的で分かりやすく好印象。 環境構築@Docker Compose 個人的にはお馴染みDocker Composeで。 blue1st.hateblo.jp ひとまずデータファイルの類は/srv/docker/grafana以下にマウントする形で集約する方針。 ポートやドメイン、パスワードなんかは適時読み替えで。 InfluxDBのAPIにあたる8086ポートに関しては同じ番号を割り当てておいた方が各所で楽ではある。 version: "2" services: influxdb: image: influxdb volumes: - /srv/docker/grafana

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Web のパフォーマンス継続モニタリング環境 intro Web の健康状態を把握するためには、きちんとしたモニタリング環境を整える必要がある。 正しくメトリクスが測定できていないと、正しくボトルネックの把握ができないし、チューニングの副作用も正しく把握できない、アプリの変更の影響もわからないし、負荷対策もできない。 単にパフォーマンスチューニングだけのためではない。が、パフォーマンスチューニングには必須、という関係。 そして、メトリクスは一回適当に取っただけでは正確とは言えず、やっぱり定期的な取得が必要になる。 この辺のノウハウは、サ

Rubyスクリプトで、CiscoルータにSSHでログインして、CLIから10秒間隔でshow interface叩いて、実行結果から必要な値を正規表現で抜き出して、InfluxDBに保存して、Grafanaで視覚化してみました。 GrafanaとInfluxDBでネットワークリソースを視覚化してみました。データベースはInfluxDB、ビジュアライゼーションツールはGrafana、データ取得はRubyスクリプト＋expect4rライブラリで実装しています。 本記事はUsing InfluxDB + Grafana to Display Network Statisticsを参考にしています。データ取得にInfluxsnmpを利用していますが、今回は自作のRubyスクリプトで実行しています。 カスタマイズすると上図のようにできます。今回はデータの視覚化までの基本的なところを説明します。 目的

※ ちゃんと調べていないので、あくまで主観です！ 「Zabbix plugin for Grafana dashboard」のセットアップ 前提条件 今回は以下の環境でセットアップしました！ Amazon Linux Zabbix 2.4(インストール、設定済み) Zabbix Serverと同居 Grafana 3.1.0(rpm) Zabbix plugin for Grafana 3.0.0-beta 手順 Grafana インストール Zabbix plugin for Grafana インストール Zabbixに監視用アカウント設定 Grafana WebUIから、Zabbix datastoreの設定 Grafana インストール Grafanaはyumを使ってインストールです！ 実際はAnsibleでやったんだけど、なーんとなく手順 /etc/yum.repos.d/graf

fluentdはRubyで実装されていることもあり複数CPUを使えないので、トラフィックが増えてきた場合などはポートを分けて複数プロセスで起動することが一般的です。 なのでマシンごとのCPU使用率を見てもfluentdの状況がどうなのか判断することは難しいです。 ちなみにJavaだとそういうことをする必要がないしJMXもあるのでfluentdが特殊なミドルウェアなのかなという気がします。 fluentd以外でユースケースを思いつかない。 そこでfluentdのプロセスごとのCPU使用率をモニタリングしたいわけですが、どうやるかというのが今回のテーマです。 やっかいなことにfluentdはsupervisorとworkerの2プロセスあってモニタリングしたいのはworkerです。まずはworkerのpidを求めないといけないわけですが、その辺の話は省略します。 process_nameがある