#fluentd meetup in Japan に行ってきた＆しゃべってきた

Fluentd meetup in Japanなるイベントをやるけどしゃべらない？ というお誘いがあったのでありがたくお受けして参加し、1セッションしゃべってきた。
まだ世に出て半年足らずのミドルウェアのイベントなのに集いも集ったり120人*1、まるまる半日間ひたすら高濃度な時間だった。話してみると、みんなfluentdがフォーカスしてるあたりにやっぱり問題意識をもっていて、ああやっぱりこれは出るべくして出たのだな、という印象だった。
あとからtogetterのまとめページも見たけど異様に長い。どんだけ盛況だったかがわかる。開催時間中、Twitterの日本のトレンドに #fluentd が出てたしな。

会場がほんとにすばらしく、運営もUstreamや無線LAN解放、電源の確保から飲み物提供まで極めて良い状態だった。主催や運営協力の方々およびフューチャーアーキテクト様、ほんとうにありがとうございました。

しゃべってきた

スライドはこれ。節目に入れていた猫画像は kbysmnr さんからクルトンさんの画像をご提供いただきました。感謝感謝。すごい評判よかった。ｗ

Distributed Stream Processing on Fluentd / #fluentd

View more presentations from tagomoris

あとUstreamで録画されてます。テキトー英語でわかりにくいところとか、記載を省略した詳細などもあるので、スライド眺めて気になるところがある人は動画で見てみるといいかもしれません。

内容としてはログ集計のための前処理を準リアルタイムにストリーム処理としてやりたい、そのための分散ストリーム処理基盤をfluentdでつくったよ、という話です。設計上どうすればよいのかといったあたりからfluentdのプラグイン構成・設定内容までをひととおり話しました。対象データがWebアクセスログですが、基本的にはどのようなデータに対しても同じように適用できると思います。汎用的なストリーム処理基盤として使う機会があればそれはそれでやりたいですね。
またいきなり極端に大きな規模のものを見せてしまったので尻込みする人が出るとマズいなーと後から思いました。基本的には同じ構成の2サーバ構成とかで簡単にストリーム処理の仕組みは作れるので、小さいデータ規模に対してそういうところから始めるのはアリだと思います。しかもけっこう簡単にスケールアウトできますし。これは今度、別途エントリを起こそうかなと思っています。

内容について疑問をもったことなどがあれば、いつでもTwitter等で質問してもらえればと思います。

雑感

実際にWebサービスでロギングの裏側として使っている、という話から、参加者みんなとの問題意識の共有、fluentd開発者 frsyuki やコミッタ repeatedly とのいくつかの議論などなどまで、たいへん充実してた。
参加者から次々と「プラグインを書きたい」という反応が出てくるのが何よりすごい。プラグインのバリエーションはこのソフトウェアにとって何より巨大な共有財産になると思うので、あの空気ができていたのは本当にすばらしい結果だったと思う。(なんともう実際にプラグインが書かれている！)

自分も会場でさくっとひとつ書いてた。サービスに投入してみてからリリースすると思うけど、やっぱりプラグインが書きやすいのはいいよね。まだまだ書きたいものが山ほどある。コードを書く気をかきたてられるミドルウェアなんて本当にいつ以来だろうね。まだまだしばらくはこの熱気が業界を席巻するような気がする。

おつかれさまでした！

*1:キャンセルでの入れ替えもけっこうあった割に驚異的に高い出席率だったらしい