WindowsのCPU使用率/空きメモリ量ログを fluentd で転送して、GrowthForecastでグラフ化RubyWindowsFluentdgrowthforecast 0.前書き WindowsのCPU使用率/空きメモリ量のログを、fluentd で転送し、GrowthForecastでグラフ化します。 Windowsの監視におけるfluentdのユースケースとしてはフォワーダーとしてnxlogを使うパターンが紹介されています。 http://docs.fluentd.org/ja/articles/windows が、 ここではあえてfluentdのWindowsブランチを使って直接fluentdがログを読み、そのままGrowthforを使うことにチャレンジしてみます 。 目指す構成はこんな感じ。 CPU使用率/空きメモリ量の取得には、Windowsに標準添付されている t

2014年03月03日 10:48 カテゴリfluentd おさらいfluentdの設定ファイルその２ #fluentd　 #growthforecast Posted by ashibuya0128 No Comments No Trackbacks 眺めているだけでは、ノウハウは身につかないので、 すでに実行されている方のをみつつ、自分の身に落とし込んでみる作業なうです。 apacheのログをこの前、elasticsearchにいれて、kibanaで表示してというのはやりました。 今回は、apacheのログをURL毎にグルーピングしてレスポンスタイムをGrowthForecastで表示してみようというところです。 一通り自分の手を動かしてみるのが一番かと。 私の音楽の師匠も言ってます。「一見、遠回りに見えることが一番の近道である」と。 ■まずは恩恵を受けているfluentdのプラグイン

GrowthForecast+FluentdでWeb管理を素敵にしよう！① 〜まずはGrowthForecastでCloudWatchのログを溜めてみよう〜LinuxnginxAWSgrowthforecastCloudWatch GrowthForecast+FluentdでWeb管理を素敵にしよう！のゴール GrowthForecast導入とCloudWatch連携理解 GrowthForecastの情報が生で見えるのは精神衛生上悪いので認証プロクシ化 Fluentd導入とログ連携理解 Apacheベースでnginx理解 各種OSリソース情報等の出力 GrowthForecast+FluentdでWeb管理を素敵にしよう！ 段階的にnginxやGrowthForecast、Fluentdを理解して、Zabbix無しでも軽くて素敵な運用が出来ることがゴール。 GrowthForecast

Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty

Github: GitHub - bash0C7/fluent-plugin-dashing: Fluentd output plugin to post data to dashing rubygems: fluent-plugin-dashing | RubyGems.org | your community gem host いつものように、fluent-gemからインストールください。 Dashingとは see: Dashing - The exceptionally handsome dashboard framework. そういえば[ruby][dashing]Dashingを使って簡単きれいなダッシュボード - こしば技術にっき(2012-11-24)なエントリーも書いていたのでした。 やってること http://shopify.github.io/dashing/#da

miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co

こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluent