何が問題？ VMware ESXi5系(4系もかも)のVM（今回はCentOS5.4 64bit td-agent-1.1.10.3-0）同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next retry will be at 2012-11-07 23:09:13 +0900. error="no nodes are available" instance=23456251017660 2012-11-07 23:08:10 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.27/lib/fluent/plugin/o

FluentdをWindowsで動かそうとして挫折しなかった記録。その1 WindowsでFluentdを動かそうとして調べていった記録のメモです。 きちんとまとめていないので起こった順に書いています。 同じような事を試みて挫折した人が居たので、この意思を勝手に引き継いで3秒以上頑張ってみました。 概要としては、fluentdのRuby実装、Python実装(fluenpy)、fluent-agent-liteのPerl実装とF#実装を確認した事と、Windowsでのファイル処理の排他制御について分かったことをまとめています。Windowsのファイルについては別の記事でまとめる事にして、この記事では簡単に触れる程度にします。 まずOriginalのFluentd。Ruby実装なのでWindowsのRubyかJRubyで動くかなとも思っていたのですが、Cool.ioというライブラリに依存して

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。 fluent/fluentd · GitHub ので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以下非常に長くなるので結論だけ書くと、大変使える感じ。現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。だいぶいい感じ。 なおこれは in_scribe および out_scribe を使用した場合で、開発者 @frsyuki によるとMessagePackでのデータ転送の場合はこの倍くらい出るらしい。 もちろんこれは右から左に流しただけなので現実にタグによるルーティングだとかロ

そろそろ fluentd 触ろうかと思ってはや 1 年近くが経とうとしている今日この頃。ふと構成を色々考えてたんですが、ひとつ気になる問題がありました。 forward とか roundrobin とかでログの転送先をいろんなサーバにすることがあると思うのですが、単純な count up 以外の集約を行おうとすると、サーバ(正確には flunetd のインスタンス)が別れてるとちょっと面倒ですよね。例えば、アクセスログから 1 分辺りのステータスコードによって datacounter するとして、それを出力してるサーバ毎にやりたいと思った時に、一つのサーバからの出力がラウンドロビンされていろんな fluentd に分かれていると、ちょっと厳しい。 また、例えば 1 サーバで in_forward の受け口は 1 つにしつつ、ローカルに別プロセスでいくつも fluentd を上げてそれらにロ

このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内容の補足 いくつか質問を受けて答えたりTwitterで見た点について、資料の補足をしておきます。 Agent -> Collector通信経路について Q. なぜVPNにしなかったのか A. VPNは可用性／負荷分散性の点で弱いため。また、VPNサーバや他にもGatewayなど余計な経路を通ることになり無駄である。Agentの増加に対してボトルネックができない構成にしたかったため。政治的な理由で、ある環境だけVPNをはれないといった場合もあり、総合するとGlobal＋暗号化 が良い落とし所だった。 圧縮／暗

Fluentdメッセージ中の数値の統計・集計をとるためのプラグインをふたつリリースしたのでその話。numeric-monitorは前に 0.0.x 系のバージョンでいちおう出してたけど、自分の手元でもちゃんと使い始めたので v0.1.0 として改めてリリースした。 fluent-plugin-numeric-counter fluent-plugin-numeric-counter | RubyGems.org | your community gem host tagomoris/fluent-plugin-numeric-counter · GitHub このプラグインは数値の上下範囲にマッチするメッセージをカウントする。数値版の datacounter みたいなものだと思えばよい。出力も datacounter の出力内容とまったく同じ。 Fluentd Casualのときの @fu

fluent-plugin-parser NOTE: This plugin is outdated for Fluentd v0.14 (Fluentd v0.14 has 'parser' filter plugin) Component ParserOutput This is a Fluentd plugin to parse strings in log messages and re-emit them. ParserFilter Filter version of ParserOutput. In fluentd v0.12 or later, ParserFilter is recommended for simple configuartion and better performance. DeparserOutput Generate string log value

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

fluent-plugin-rewriteというfluentdのプラグインを作成した。以下、このプラグインの解決する問題について述べる。 https://github.com/kentaro/fluent-plugin-rewrite https://rubygems.org/gems/fluent-plugin-rewrite 問題 あるサービスのレスポンスタイム改善をしていて、まずは状況の可視化のために、fluentdを用いることにした。その際、たとえば トップページ ユーザページ 書籍検索ページ 書籍詳細ページ ... その他 といったグループにわけて、レスポンスタイムの各種統計を取りたい。また、ログを全部集計すればいいというものではなく、除外すべきmessageも複数種類あるので、柔軟にフィルタルールを設定したい。 既存のプラグインだとout_exec_filterを使うことによっ

皆様、ログ解析を行っていますか？ GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。 内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交えつつ紹介したいと思います。 このプラグインは100台規模の本番環境で1ヶ月少々、特にトラブルもなく稼働しているものです。 はじめに Amazonでは応答速度が0.1秒遅くなると売り上げが1％減る と言われているように、Webアプリケーションの応答速度はとても重要なものです。 機能追加による性能劣化は良くある話で、応答速度等の見える化を行う事で迅速な対応が取れば売り上げ等への影響も軽微です。 パフォーマンス改善等の指標として利用する場合のユースケースを紹介したいと思います。 fluentdとは リアルタ

はじめに 準備編ではデータセット：Book-Crossing Dataset を用意し， Treasure Data のツールベルト一式を導入した上でインポートし，簡単なクエリを実行するところまで行いました。本シリーズでは Treasure Data のデモアカウントが必要になりますのでまだの方は準備編の方を先に参照下さい。 今回は「データを俯瞰する」をテーマに，解析対象としているデータセットがどのような姿をしているのかを視野広く眺めることにしましょう。このフェーズでは全く難しいことは行いません。ここでのキーポイントは セグメント：ノードやアクションのステータスから様々なセグメントを作成しその分布を眺める というステップを地道に行う事にあります。それによってどの「切り口」でデータを深掘りしていけば良いかが見えてくるのです。 データを俯瞰する データ解析は解析対象とするデータセットの概要を知

前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount

YARNについて書きたい気持ちを抑えて前回の続きです。 まだfluentdをがっつり導入しているわけじゃなく、独自プラグインや構成については改良の余地があるかもなので、まぁ参考程度に見ておいてください。 データフロー APサーバのログ書き込みから、HDFSに書き込むまでの処理内容です。パスとかは適当に書き換えてます。なぜこんなフローなのかは後述。めんどいのでテキストで。 (WEB/AP) ◆ログを固定パスに追記 (ex: date >> /tmp/service_plathome_logtype.log のような) ├─□cronによる強制logrotate (10分～1時間程度おき) │ (Fluentd Agent) ◇IN 改造tailプラグインでログ取得 (pathに*の使用可、basenameをtagにできる) │ ◆OUT copy ├─◆flowcounter (unit h

せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー

このエントリでEC2インスタンスにfluentdをインストールした続き. EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. nginxをインストール 公式ドキュメントを参考に, apt-get用リポジトリにnginxを追加. > cd work_dir # 適当な作業ディレクトリへ異動 > wget http://nginx.org/keys/nginx_signing.key > sudo apt-key add nginx_signing.key > sudo vi /etc/apt/sources.list ファイル末尾に下記リポジトリを追加. deb http://nginx.org/packages/debian/ squeeze nginx deb-src http://nginx.org/packages/debi