Athenaを使ってS3上のJSONを変換・パーティショニングしてParquet出力してみる - YOMON8.NET

Athenaを使ってS3上のJSONを変換・パーティショニングしてParquet出力してみる - YOMON8.NET

S3上のJSONデータをAthenaを利用してParquetに変換してみます。 使うのはこの話です。 aws.amazon.com ...概要を表示 S3上のJSONデータをAthenaを利用してParquetに変換してみます。 使うのはこの話です。 aws.amazon.com テストデータ生成 日付列をパーティションに利用 Parquet＋パーティション分割して出力 カタログへパーティション追加 所感 参考URL テストデータ生成 こんな感じのテストデータ使います。 $ for i in $(seq 1 10000);do echo "{\"date\":\"2019/2/$(($RANDOM%28+1))\",\"value\":$RANDOM}";done | head -n 3 | jq { "date": "2019/2/27", "value": 24391 } { "date": "2019/2/22", "value": 32486 } { "date": "2019/2/16", "value": 27867 } A