Parquetフォーマット概観 - 発明のための再発明

テクノロジーカテゴリーの変更を依頼記事元:

mrasu.hatenablog.jp

342 usersがブックマークコメント

コメント

13

記事へのコメント13件

注目コメント
新着コメント

y-kawaz 初めてparquetの詳細について知れたわ。自分でパースする事はないと思うけど、どういう思想で作られたフォーマットなのかとかが垣間見えて面白かった。

2024/09/22 リンク

uehaj スキーマレスなKVSのポータブルダンプデータってとこかな。ランダムアクセス、もしくはメモリマップドファイル前提なのを理解

2024/09/23 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

Parquetフォーマット概観 - 発明のための再発明

Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではない... Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。この記事は、Parquetの具体的な構造について記述します。はじめにこの投稿は、Parquetの構造について、バイナリを見ながら確認するものです。ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。ファイルはRowGroupとメタデータに分かれている RowGroupの中に

ブックマークしたユーザー

masahiko_of_joytoy2024/11/14
nishitki2024/11/11
chanyou03112024/10/22
techtech05212024/10/17
wtatsuru2024/10/07
txttxt2024/10/07
yuiseki2024/09/25
m0t0m0t02024/09/24
northlight2024/09/24
ttsurumi2024/09/24
tmatsuu2024/09/24
wkubota2024/09/24
rummelonp2024/09/24
minamishinji2024/09/24
drslump732024/09/24
hourousuteneko2024/09/24
tyosuke20112024/09/24
tocguitar12024/09/24

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx