Parquet ファイルに Presto でクエリ時の Column Projection について調べた - ablog

テクノロジーカテゴリーの変更を依頼記事元:

yohei-a.hatenablog.jp

1user がブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

Parquet ファイルに Presto でクエリ時の Column Projection について調べた - ablog

確認したかったこと Parquet ファイルに対して Presto で select count(year) のように特定カラムのみ参... 確認したかったこと Parquet ファイルに対して Presto で select count(year) のように特定カラムのみ参照するとそのカラムのみをストレージから読んでいる。 select count(*) すると Parquet ファイルのフッターのメタデータ（Row group の num rows）のみをストレージから読んでいる。検証シナリオデータセットは Amazon Customer Reviews Dataset を使用。 Presto から Parquet on HDFS、Athena から Parquet on S3 にクエリを発行してスキャンサイズ、実行時間、ブロックI/O量を確認する。 # クエリ 1 select count(*) from amazon_reviews_parquet 2 select count(year) from amazon_r

ブックマークしたユーザー

komlow2019/06/20

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx