LayerX エンジニアブログ

LayerX の エンジニアブログです。

SnowflakeにCOPY INTOでバルクロードする際のポイント #ベッテク月間

Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…

Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録

こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;…

プレスリリース駆動開発のすゝめ

プレスリリース駆動開発をしている話