BigQueryってなんぞ？

Kazunori Sato @kazunori_279

@ashigeru BigQueryってこんな文法で60B件のcountとかgroup byを数秒でこなしてたんですけど、中身想像づきますか? http://goo.gl/jtti

Suguru ARAKAWA @ashigeru

@kazunori_279 びりおんですか

Suguru ARAKAWA @ashigeru

@kazunori_279 や、ぶっちゃけクエリの内容次第かと思いますが

Kazunori Sato @kazunori_279

@ashigeru 600億件です。group byでcountとか5秒くらいでした。

Kazunori Sato @kazunori_279

@ashigeru 単純な全件とかなら事前カウントで対応できるけど、先の文法の自由度で「Typical queries execute in seconds.」とうたっているので、どんな仕組みやねん。。と

Suguru ARAKAWA @ashigeru

@kazunori_279 純粋にgroupby countを早くするだけなら、distributed Btree辺りを使えばそのスピードはアドホックに計算しても出せなくはない…かも

Kazunori Sato @kazunori_279

@ashigeru ふ～む。ではjoinなしで、すべてのカラムについて値付きのbtreeを作っておく感じかな。。？

Suguru ARAKAWA @ashigeru

@kazunori_279 ついでに、フィールドごとにdistinctした表とかも持ってそうな印象です

Kazunori Sato @kazunori_279

"WHERE word CONTAINS "th"" とか部分一致検索もOKみたい。むぅ #bigquery

Suguru ARAKAWA @ashigeru

@kazunori_279 そういう意味で、速いクエリと遅いクエリの例が大量にないと推測しづらいですね。

Kazunori Sato @kazunori_279

@ashigeru 60B件とかだと、遅いクエリってのは実質実行不可能と思うのですよね。。

Suguru ARAKAWA @ashigeru

@kazunori_279 リアルタイムなのかバッチなのか、その辺りによると思いますよ

Kazunori Sato @kazunori_279

@ashigeru クエリはリアルタイムで、インポートはバッチっぽい印象です（インポート処理についてあまり紹介されなかったのがミソかも）

Suguru ARAKAWA @ashigeru

@kazunori_279 ちなみにここに書いてある構文だと、フィルタ部分はリニアな並列性があると思います

Kazunori Sato @kazunori_279

@ashigeru ふむ。でも並列処理できるとしても、部分一致検索とかは全検索？それとも転置インデックス等？

Suguru ARAKAWA @ashigeru

@kazunori_279 事前計算を前提としないなら、数百万件ごとに分散して、局所性をもってシーケンシャルスキャンする感じです。秒オーダーだからこそ許される大技w

Kazunori Sato @kazunori_279

@ashigeru そんな力業なのかぁ。。それこそMapReduceっぽいなww

Suguru ARAKAWA @ashigeru

@kazunori_279 いや、もちろん想定の上を行く可能性は高いと思いますよ。私がもし同じ制約でアーキテクチャ考えたら…っていうだけです

Kazunori Sato @kazunori_279

@ashigeru googleなら...googleならきっと想像の斜め上を行く仕掛けを使ってくれてるはずだ!

Suguru ARAKAWA @ashigeru

@kazunori_279 そう期待します。とりあえず逆関数がない関数をフィルタに使える時点で、フィルタに関してはある程度手法が限定される気はするんですよね

Kazunori Sato @kazunori_279

@ashigeru 逆関数とフィルタの関係...わからんw

Suguru ARAKAWA @ashigeru

@kazunori_279 とりあえずあの資料だけ見て感じるのは、フィルタの局所性が高い(たぶんエンティティに閉じてる)、極端にネットワーク通信を嫌う、って辺りです

Kazunori Sato @kazunori_279

@ashigeru 「エンティティに閉じてる」のところをできればkwsk

Suguru ARAKAWA @ashigeru

@kazunori_279 WHERE句に出現する項をすべて並べると、必ず同じエンティティのメンバか、単なる定数、またはそれに何らかの演算をしたものになると思います。サブクエリの深さがnだったとしても、おそらくO(n)で基本O(1)になるはず

Kazunori Sato @kazunori_279

@ashigeru ふむ、joinがない、という意味ですか？たしかにjoinはなさそうですね。