ほわいとぼーど

ぷろぐらまのメモ帳

Fluentd Casual Talks #3[2013/12/13(Fri.)]に参加してきました。

勉強会 fluentd

勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。
資料やお名前は後で補完予定発表者多いので網羅できたか不安

http://togetter.com/li/602421

①@tagomorisさん 「fluent-plugin-norikra」　
・StreamにSQLクエリを書ける
・定間隔実行クエリ（タイムバッチ）を書ける
・ハッシュの入れ子もマッチ
・numeric-monitor pluginでやるような内容を簡単に書ける
・再起動いらずでクエリを増減できる
・Fluentdの起動と連動して子プロセスとして起動できる

norikra、データのつまみ食いをうまく出来ると捗りそう。
転送中に仕込んで何か気づいたり試したり将来的に整形して流したり。
あと連動して起動するの良い。

â‘¡@sonotsさん 「Fluentdでshadowサーバを用意したら捗った話」
・Hikanko　OSS　fluentdの設定をUIからデプロイまでできる
・Yohoushi
・dummy_log_generator
・2万行の設定ファイル→死
・shadowサーバ（Kage等）をcopy+forward plugiinで簡単に作れるよ！
・（普段の構成）workerマシン4台で152プロセス　10万行/sec

(「Fluentd Casual Talks #3 で Shadow Server on Fluentd の話をしてきた」)

パラメータチューニング参考にする。
数日前にdummy_log_generator挑戦してうまくいかなかったので後でまた挑戦する。

③@stanakaさん 「Alternative Fluentd implementation in Go」
・hatenaでもKibana使ってる
・Goは2009年Release、2012年に1.0、今は1.2
・Rest API Webアプリケーションでも性能悪くない

ik触ってみるにはin_tail欲しい
ltsv.org参照してたけど、@stanakaさんがオーナーだったの今気づいた。

④@Masakiyo2さん、@okahashi117さん 「Windows版fluentdで幸せになれますか」
・0.10.41はまだ動かない
・0.10.35ベースで開発中、中川さんのWindows対応版Cool.io 1.2を入れて動く
・エンジン側、plugin側でそれぞれ色々手を入れてる。
・WinAPIを色んなところで使用。
・本番ではまだ使っちゃダメ

Windowsユーザなのでこれを導入すればbasy0C7さんみたいなことが・・・？

⑤@kzk_moverさん 「Treasure Agent Monitoring Service (ベータ)」
・fluentd、そろそろJPをUSがアクセスで超えそうな勢い
・基本監視　プロセス、ポート、システム情報（CPU、mem、Network）
・Fluentd特化監視　buffer溢れ、リトライ回数、エラー/ワーニング
・monitor_agentでとれる
・TD monitoring service今日から開始！pluginライブリリース
・td-monitoring pluginでTDに監視情報を送付、グラフっで見れる。
・フリー（無料）　アカウントは必要　まずは連絡を

監視系はプロセス監視くらいなので時間とって調査したい。
td-monitoringの送り先変えれるやつ出してくれたらKibanaに入れてみたい

ココからLT

⑥@kenjiskywalkerさん 「large td-agent.conf with chef」
・fluentdの設定をinclude conf.d/*.confにしない
・includeをちゃんと個別に書くことで処理が明確になる
・Chefレシピでそれを管理する

(「Fluentd Casual Talks #3 でChefの話をしてきました #fluentdcasual」)

開発時はともかく本番は曖昧なところは無くしたいところ。
適当に入れておくと後のメンテナンスも困るし。

⑦@yoshi_kenさん 「Fluentd as a Middleware Engine」
・MySQL→ES＝Yamabiko
・fluentdの仕組みが色々便利で安全なのでミドルに流用しやすい

(「Yamabiko」)

データストアから検索エンジンは何かしらありうるので、
仕組みが一括で提供されるの便利そう。

⑧@bash0C7さん 「ご家庭でFluentd」
・家でfluentd
・Macbook Air→AWS SQS→ラズベリーPIをFluentdで！
・ツイッターから画像検索→TumblurをFluentdで！

(「ご家庭でFluentd」)

画像をmsgpackの発想すごい。ツイッターから流すの楽しそう。

⑨@kazegusuriさん 「OutputとBufferedOutputの間の何か」
・Output pluginとBufferedOutput pluginの使い分け
・Bufferedだと2重登録おこりうる
・OutputとBufferedOutputの中間ようなplugin bufferize
・詰まったら再送分と通常分を次回まとめて送る

Output周りはES詰まる挙動同じになってそうなので後で参考にする。

⑩@choplinさん 「postgres関連の何か」
・mongo plugin 1番だけど怖いのでpostgres使おう
・postgresでJSON使える
・postgres用mskpack作った
・ローカル比較で早い

(「pg_msgpack」)

これはAWS postgresの流れか

⑪@frsyukiさん「What's new in v11」
・無停止再起動
・マルチプロセス　
・エラーストリーム
　今まではmatchの中でエラーが出たらそれ以降の振る舞いはout plugin依存
　これからはエラー処理をコアで行う。エラー処理を書ける（エラー出たイベントはファイルに書くとか）
・plugin gemのバージョン管理。fluentd自体も書ける→バージョンアップ
・ログレベルをplugin毎に指定可能
・設定に変数を入れられる
・タグ書き換えが不要になる仕組み　matchのnest
・v11ライブリリース　0.11.0.preview1

色々期待溢れてやばい。
fluentdユーザコミュニティは活発なので
どれも割りと待ってましたという感じです。

非常に有意義で参考になる情報ばかりで、色々試したくなりもしました。
dummy_log_generatorからshadow serverでv10とv11に流してnorikraもはさんで
Kibanaに入れつつ監視データも入れてパフォチュー、と一瞬浮かんだが
マシンリソースが無いのできっと誰かやると期待。