dbt-snowflakeを使用してPython ModelのCustom Materializationを実装する方法を解説します。SnowflakeのStored Procedureに焦点を当て、データ変換や複雑な処理をPythonで行う手法を紹介します。

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…

Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…

今回の記事では、Snowpipe StreamingとAmazon Data Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。最初に、Snowpipe StreamingとAmazon Data Firehoseに関して基礎的な説明を行います。その後、Snowpipe StreamingとAmazon…

『Don't Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介します。

2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。

SnowflakeでMicrosoft Entra IDを使ったSingle Sign-On及びSCIMプロビジョニングを有効化する方法を画像付きで詳しく説明します。