TreasureDataの大量データをSnowflakeへ取り込む - Qiita

テクノロジーカテゴリーの変更を依頼記事元:

qiita.com/kaz3284

2 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

TreasureDataの大量データをSnowflakeへ取り込む - Qiita

概要 TreasureDataにある大量データ(100GBレベルのtableデータを複数)をSnowflakeへ取り込む処理を実行... 概要 TreasureDataにある大量データ(100GBレベルのtableデータを複数)をSnowflakeへ取り込む処理を実行しました。しかし、一筋縄ではいかず、試行錯誤経て比較的シュッとできる方法に辿りつきました。役立ったのはSnowflakeの半構造化データ機能でした。ここでは、同じような問題に直面された方のお役に立てればと結論と伴に試行錯誤の過程を記します ※1年近く運用してわかった改良版も投稿済みです、ご参照ください結論 TDからSnowflakeへの大量データの移行は「TD→Snowflake」の直接移行は不可能でしたが、 **「TD→クラウドストレージ(s3)→Snowflake」**とクラウドストレージ経由にすることで、ほぼ手動調整無しに実現可能になりました。手順は以下になります。 1. Snowflakeに適切なtable定義を作る。 TDのSnowflakeE

Snowflake

ブックマークしたユーザー

knj29182023/03/16

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx