Google for モバイル アプリ - モバイル KPI 分析の新標準 〜 Fluentd + Google BigQuery セッション レポート（最終回）
2015年3月13日金曜日
最後となる今回は、デベロッパー アドボケイト 佐藤 一憲のセッションです。Google における Big Data から始まり、BigQuery が速い理由、fluentd と BigQuery によるリアルタイム ストリーミング インポート、それから Lambda アーキテクチャーによるリアルタイム KPI 分析を説明しました。BigQuery については様々な情報があるため、ここでは Lambda アーキテクチャーによるリアルタイム KPI 分析をレポートします。
Real-time KPI Analytics with Lambda Architecture
Lambda アーキテクチャを Google Cloud Platform で構成するために、データ入力には fluentd を使い、バッチ処理には BigQuery、リアルタイム処理には SQL を使ったストリーム処理が可能な、LINE の田籠さんによる Norikra、その結果を見るダッシュボードとして Google スプレッドシートを使い、デプロイには Docker コンテナを活用しています。
このビデオからも、リアルタイムにスプレッドシートのグラフが更新されていくのがわかります。今回のメインではないものの、スプレッドシートでこのようにリアルタイム ダッシュボードが作れることは、様々な用途に応用していけそうです。その他のアプリケーションの例として、モニタリング システムなどが考えられますね。
Lambda アーキテクチャーは、人的なミスを含めた対障害性としても、スケーラビリティの面でも優れたアーキテクチャーで、例えばリアルタイムでの集計の仕方を間違って、正しくメトリクスの値を把握できていなかったとしても、バッチ処理側で元データを管理しているため、後で正しく修正したレポートを見ることができる、そして想像すると殆どの用途が当てはまるアーキテクチャであることがわかると思います。
このソリューションで次のことが可能になります。
- BigQuery と Fluentd で秒間 100 万行のストリーミングインポートが簡単に行える
- Norikra で秒間 100 万行の KPI の解析をリアルタイムに SQL を使い簡単に行える
- Google スプレッドシートで実現できるリアルタイム ダッシュボード
- Docker を使うことで 10 分内にデプロイ可能
モバイル デバイスから送られてくる大量のデータを優先順位付けし、リアルタイムに処理/分析していくことは、デバイスの多様化や高機能化が進むほどに、より重要性が増してきます。今回紹介した方法を一例として、今後 Compute Engine や BigQuery を使った、どんなソリューションが出てくるのか楽しみです。
さらに詳しく見ていくには GitHub の lambda dashboard を見てください。
以上で、Google for モバイル アプリのセッションが終わりました。これまでのレポートから、何か今後のモバイル開発に役に立つことが見つけられたら、とても嬉しいです。また次のイベントで皆さんに会えることを楽しみにしています。
- Posted by Google Cloud Platform Japan Team
- Posted by Google Cloud Platform Japan Team
0 件のコメント :
コメントを投稿