データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる - Qiita

データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる - Qiita

概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どうい...概要を表示 概要 dbt（Data Build tool）を、前提知識となるデータエンジニアリングにおける現状を踏まえて、どういったツールであるかを説明します。dbtがデータエンジニアリングのあるべき姿としてデザインされており、共有されることが少ないデータエンジニアリングのナレッジを含むため、dbtを利用しない場合でも本記事の内容は有益な情報となっております。 dbtの概要については、下記の記事で整理しています。 データエンジニアリングの技術背景 ストレージコンピューティングの分離が可能なデータ処理エンジン（Spark、Presto等）がデータ分析基盤のデータストアとして用いられるようになってきています。従来であればデータレイクではデータの管理が困難であったが、レイクハウスフォーマット（Delta Lake、Hudi、Iceberg等）の開発によりデータレイクにACID特性を持たせられるようになり、デ

• dbt