dbt と BigQuery監査ログで実現する Asset Centric な Job 管理方法

dbt と BigQuery監査ログで実現する Asset Centric な Job 管理方法

はじめに データパイプラインにおいて、「ETL」という言葉を耳にする機会は多いと思います。 Extract（...概要を表示 はじめに データパイプラインにおいて、「ETL」という言葉を耳にする機会は多いと思います。 Extract（データの抽出）、Transform（データの変換）、Load（データのロード）の3つを指し、分析環境やBIツールに事業データを連携する際には、この一連の流れが欠かせません。 この3つに分けられているのには理由があって、それぞれが担う責務が異なるからだとされています。 Extractは、事業DBから直接データを取ってくる役割。 Loadは、アプリやBIツールで使える形に仕上げる役割。 そしてTransformは、データを目的に合わせて変換する、という役割です。 近年はクラウドデータウェアハウスが非常に強力になり、様々なビジネス要件に合わせた処理を Transform 層で実現するようになりました。その結果、目的に応じて多数のテーブルを生成し、多数のクエリが実行され、多数の Job が動