グラフ型NoSQLデータベース（Neo4j、InfiniteGraph）編：知らないなんて言えないNoSQLまとめ（4）（1/2 ページ）

Column：HBaseをフル活用、毎秒600万件の分析を実行するStumbleUpon

　StumbleUpon（スタンブルアポン）は、自分のWebサイトの好みを登録することで、自分にあったWebサイトの推薦を受けるとともに、好きなWebサイトを仲間内でシェアできるSNSです。専用のツールバーをブラウザに追加インストールすると、Thumbsup（いいね）、Thumbsdown（よくない）、Stumble（見つけた、ちょっと気になる）といったボタンを押すことで、Webサイトを評価できます。

　いいと思ったWebサイトに投票したり仲間とシェアしたりするための印を、Stumbleマークといいます。Stumbleマークは2011年8月時点で累積250億件、毎月10億件のペースで増加しています。

短縮URLサービスや広告プラットフォームにHBaseを利用

　StumbleUponは、ユーザーが記録したStumbleマークの履歴に基づき、その人が関心を持ちそうなWebサイトを推薦します。そのユーザーの履歴の格納先としては、FacebookやTwitterと同様に、シャーディング構成のMySQLを使用しています。しかし、この構成では運用の負荷が高いため、後発のサービスである「短縮URL」と「広告プラットフォーム」にはHBaseが採用されました。

　「Su. pr」はStumbleUponのリコメンド機能付き短縮URLサービスです。サービス初日からHBaseに90億件を超えるデータが格納され、短縮URLを通じたユーザーの行動履歴が日々蓄積されています。行動履歴は、HadoopMapReduceによって毎秒600万件のスピードで分析され、リコメンド情報としてHBase上の別のテーブルに格納されます。

　広告プラットフォームでは、広告主向けのレポートのリアルタイム性が要求されます。そのため、MapReduceによる集計は行わず、広告が表示されるごとにHBaseに格納された広告表示回数の情報を直接カウントアップしています。このような処理は、結果整合性を採用したDBMSでは実現できません。強い整合性を採用したHBaseを生かした設計といえるでしょう。

　このように、同社ではHBaseを利用することで、データを安全に整理し、素早く探し出し、適切に削除・更新し、分析を行っています。そして、こうした用途において、複数の安価なハードウェアにデータを格納できるNoSQLデータベースを高く評価しています。

OpenTSDBを開発し多様なデータをモニタ

　StumbleUponはさらに、HBaseをベースとして、分散拡張型の時系列データベースを開発しました。これはOpenTSDBと名付けられました。大規模なコンピューターシステムを構成するネットワーク、オペレーティングシステム、アプリケーションから収集されたデータを格納し、インデックス化し、測定するというニーズに対応し、そのデータに簡単にアクセスしてグラフ化するためにOpenTSDBは開発されました。

　StumbleUponは、数千のホストとアプリケーションから数千種に及ぶ測定値を集めています。そして、データを削除したりサンプルの形に間引いたりはせずに、そのまま格納しています。実際に数十万本の時系列を追跡し続けており、メインのデータセンターには日次6億件以上のデータを集積しています。その中でOpenTSDBは「大量データを非常に詳細にリアルタイムで監視しながら、わずかな運用作業でグラフを作成できる」と評価されています。