ひつじのにっき

mhidakaのにっきです。たまに長文、気が向いたとき更新。

【CP-3】Google App Engine for Business, Cloud サービスの概要 - フレッド ソオー

Part 1: Google App Engine for Business の概要
Part 2: 新しい Google Cloud サービスの概要: Google Storage for Developers, Prediction API and BigQuery
フレッド ソオー

以下4つのGoogleテクノロジの紹介

  • Google App Engine for Businessの概要
  • ストレージサービスのGoogle Storage for Developers(開発者向けテスト中)
  • 高性能な予測アルゴリズムを搭載したPrediction API(デモ、導入として何語かわからないテキストから言語を予測)
  • 大規模データの高速分析が可能なBigQuery

Googleがプラットフォームを提供していく

・SaaS:GoogleApps,ThirdParty、GoogleAppsMakertPlace、あなたのアプリ
・PaaS:GoogleAppEngine
・IaaS:Google Storage,Prediction API, BigQuery

GoogleAppEngine for Business

  • MySqlデータベースなどビジネス向けに新たに機能を提供
  • AppEngineは9万人の開発者を擁している
  • 13万アプリ、7å„„/日のページビューがある


GoogleStorage for Developers

開発者向けのストレージサービス。フォーマット、容量、期間も問わない。
メディアファイルの直接公開、ファイル共有なども可能。完全なプライベート運用もできる

  • ファイルアクセスはGoogleAPI経由

バックアップやアプリケーション向け、ファイル共有サービスなどに使ってほしい。
これからはなすPrediction API, BigQueryなどはGoogle Storageとの連携を前提に作られている

  • ハイパフォーマンス、スケーラブル
  • 強固なセキュリティ&プライバシー
  • 使いやすい(開発が容易)
GoogleStorageの特徴
  • RESTFul、URI指定のリソース、Amazon S3との互換性
  • なじみ深いバケットモデルの採用、アクセス制御もBucketsごと可能
  • オブジェクト制御。どんな種類でも最大100GBまで
認証方法
  • アクセスキーによる承認
  • グーグルアカウントによる認証
グーグルストレージのデータ

アメリカのデータサーバでレプリケーション。将来的には国外にも移動したい
Bucketsの名称はネームスペースによって決まる。
Google Storageはオブジェクトを入れると、読取&書込ができる。ファイルの一部取得も可能
Object単位の権限管理なども可能。
興味があればテストアカウントを利用できる。

Google Prediction API

導入、今回のデモ:多言語テキストファイルの記述言語を予測する
マシンラーニングで複数のアルゴリズムを活用、一番良い結果を選ぶ。予測のためのAPI。
マシンラーニング:答えのわかっているサンプルを入力して解答を求めるための規則やルールを抽出する人工知能の学習方法の1つ

顧客のEmailへの返答

過去に受け取ったメールを、Prediction APIへのトレーニングで使える。
Google Storageにアップロード、モデルをつくり、予測に活用する。

BigQuery

何10億、何億のデータ分析が可能。大きなトランザクションをGoogleStorageにアップロードして、 BigQueryで処理する。Googleの内部ツールとして使っていたもの。

簡単なSQL的な言語を使っている

結果が返ってくるスピードは大きく変わる。
バッチ処理していたものが数秒で得られる。意思決定の方法が変わってくる。

ユースケース

  • スパムの発生率、トレンドの予測、最適化に使える。

主な特徴
  • 数秒以内のレスポンス
  • 大量のデータ処理(分散型の演算)
  • シンプルであること
  • Webサービス(RESTful API / JSON-RPC / GoogleAppScripts)

表計算として表示することも可能。

Queriesの書き方
SELECT... FROM...
WHERE...
GROUP BY...
LIMIT で量を決めるとか
見覚えのあるものが使える

統計的な近似値の利用(その分高速),RESTFulでのアクセスも可能

  • GET /bigquery/v1/tables/{table name}

Securityはオープンスタンダード、OAuth、Auth Subなどに対応している

大きなデータ処理:WikimediaのデータをBigQueryにアップロードさせる
Wikipediaの編集トップ5のタイトル取得
→ George W.Bush などトップ5が出てくるまで数秒。