MessagePack-Hadoop Integration (HBase勉強会)

Hbase勉強会（第二回）で発表したスライドを公開しました：

MessagePack+Hadoop (HBase-study 2011-06-16 Japan) - Scribd

MessagePackとHadoopを連携させるプロジェクトは、github の msgpack/msgpack-hadoop で進行中です。
HBase や Hive で、非構造化データを効率よく扱えるようにすることを目指しています。データはとりあえず突っ込んで、スキーマやクレンジングは後で考えたい（変更したい） というニーズにピッタリ合うハズです。

ログ収集ツールFluentも、オープンソースで公開するべく現在準備中です。

Fluent は、Facebook が開発したログ収集ツールである Scribe と似たツールです。Scribe がメッセージの表現として文字列しか使用できないのに対し、Fluent は JSON で表現可能なあらゆるオブジェクトを扱える点が大きく異なります（もちろん、内部では高速な MessagePack を使用しています）。

ログ収集ツールというよりは、汎用的なイベント収集ツールと言った方が良いのかもしれません。

プラグイン機構も異なります。Scribe はプラグインでデータの書き出し先を追加することができますが、Fluent ではデータの入り口も自由に追加することができます（Scribe では Thrift しか使えない上に、Thriftのインストールが面倒なのが難点で…）。

乞うご期待^^;