prestoでクエリを書いてあとでバッチ化するためにhiveに書き換えるというのはよくある話なので変換ルールをメモっておく。 prestoの方が機能的にリッチなんですが、安定性を考えるとバッチではhiveをうちの環境では使ってます。一番よくつかうのがjson_extra…

Presto Meetup 201706｜IT勉強会ならTECH PLAY［テックプレイ］ でもprestoクエリをファイルにロギングする話があって、そろそろうちもやってみるかーということで実装しました。https://github.com/wyukawa/presto-fluentd参考にしたのは https://github.co…

約2年前にyanagishimaを開発し始めた時、Javaで実装することに迷いは無かった。 理由は単純に僕が一番馴染んでいる言語だから。Javaで実装している一方でJDBCを使わなかったのには２つの理由がある。一つ目は性能面を考慮したから。やりたいこととしてはデー…

Presto Meetup｜IT勉強会ならTECH PLAY［テックプレイ］で発表してきました。主催のrepeatedlyさん、および発表者、スタッフ、参加者のみなさまお疲れ様でした。ありがとうございました。参加者が30人ほどと小規模で、かつ発表後すぐには質問もなかったので…

約1年間Prestoを運用していて気づいたことを書いてみようと思う。Prestoが素晴らしいOSSプロダクトであることは間違いなくて、Hiveを使っている人はインストールして損は無いと思う。メリットは下記の通り Hiveに比べるとオンメモリで処理するので高速でアド…

Prestoはチーム外からのPull Requestも積極的に取り入れておりオープンで大変に好感が持てる訳ですが、なかでもコードレビューがとても丁寧です。 例えば僕が最近だしたPull Requestだとこんな感じです。Add url_encode/url_decode function by wyukawa · Pu…

以前2種類のログ解析基盤 - wyukawa’s blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。 ちなみに1つ目のエンジニアよりのシステムの方も更新はあって、Fluentd+Norikra+Elasticsearch+Kiba…

僕は仕事では2種類のログ解析基盤を見ています。1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。sele…

Prestoのコードを読んでいるとairliftなるパッケージにお目にかかることがあります。GitHubのorganizationにairliftというものがあってこれの配下にいろいろなプロジェクトがあって、ここにairliftのソースがあります。https://github.com/airlift 例えば ht…

1月のPresto Meetupでログ解析基盤について少し話してから3ヶ月弱経ったんだけどその時から若干変わったのでメモっておく。以前はこんな感じでした。 Presto in my_use_case from wyukawa Prestoは今は0.100を使っていて特に問題は発生してないです。 Cognos…

Presto Meetup｜IT勉強会ならTECH PLAY［テックプレイ］で発表してきました。 会場を提供していただいたフリークアウトさん、ならびにスタッフ、発表者、参加者の皆様ありがとうございました。僕のスライドはこちら Presto in my_use_case from Wataru Yukawa…

MySQLのslow queryを可視化するnata2というプロダクトがあります。詳細は下記参照。MySQL Casual Talks vol 6.でNata2について発表してきた - Studio3104::BLOG.newで、別にこれMySQLじゃなくてもいけんじゃねって思ったのでPrestoに適用してみました。Prest…

最近バージョンアップ頻度が上がって以前は月一ぐらいだったのに最近は週一以上の頻度でバージョンアップしているPrestoについて適当に書いてみます。\GとLAST_DAYに関してはfrsyukiさんに教えてもらいました！ \Gカラム数が多いテーブルをselectすると横に…

以前Hiveでの集計処理とかPrestoについての話を PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa’s blog で書いたのですが、今はこんな感じでやっているよーという話を書きます。最近やっていることは、 Presto CLIでデータの中身を確認しつつHi…

今日はPrestoとかAnsibleとかその辺の話を軽く書いてみようと思います。突っ込んだ話が出来るわけではないのであしからず。僕のところの環境ではPrestoを使っていて、PrestoはDataNodeやNodeManagerと同居してます。主なユースケースはアドホッククエリの実…

ちょっと時間経ちましたがPresto ソースコードリーディング #4に行ってきたんでその辺のことをちらほら書きます。コードはぱらっと見ておいたんだけど、ちゃんと理解しているわけではなかったこともあり議論には全くついていけなかったことをここに告白しま…

先週いろいろとやっていてfrsyukiさんのおかげで動くようになったのでメモっておきます。CognosはBIツールです。Prestoはみんな知ってるよね。Prestogresが何かはこちらを参照。http://www.slideshare.net/frsyuki/presto-meetup要はBIツールからPrestoにつ…