NRIネットコム Blog

NRIネットコム社員が様々な視点で、日々の気づきやナレッジを発信するメディアです

注目のタグ
    トップ > マーケティング > Data Engineering Agent とともに BigQuery パイプラインを作成する

    Data Engineering Agent とともに BigQuery パイプラインを作成する

    マーケティング Google Cloud BigQuery Google アナリティクス データ分析 生成AI

    こんにちは、デジタルマーケティング事業に携わっている神崎です。
    本記事では、Google Cloud の BigQuery で、Data Engineering Agent とともに BigQuery パイプラインを作成する方法について紹介します。

    本記事の目次は、下記のとおりです。

    はじめに

    Data Engineering Agent は、「データ エージェント ファミリー」と呼ばれる Google Cloud の AI エージェント群のうちのひとつで、データの ETL にかかわるタスクを支援します。

    ※出典：生成 AI が拓くデータ活用の新境地：Google Cloud の「データ エージェント」とは？
    https://www.youtube.com/watch?v=YGZozq561iI

    デジタルマーケティング、とりわけデータ活用の文脈では、以下の赤枠内を支援する AI エージェントとなっています。

    本記事執筆時点においては、以下の機能が利用可能です。

    • BigQuery data preparation（データの準備）：BigQuery テーブルのカラムの内容（型など）を、自然言語で指示した内容に変換する
    • BigQuery pipelines（パイプラインの作成）：BigQuery 上にあるデータの処理を行うパイプラインを、自然言語により作成する

    ※本記事執筆時点において、本機能はプレビュー版で一般公開されていますが、機能は必ずしも完全ではなく、SLA やテクニカルサポートの確約はありません。

    以下は「BigQuery data preparation（データの準備）」機能の活用例です。
    「is_active_user」 というカラムの型を BOOLEAN 型から INTEGER 型に変換しています。

    BigQuery パイプラインは、GUI でクエリ（SQL）の実行順序等を定義して、当該処理を定期実行できる機能です。
    複数のクエリ（SQL）間に依存関係がある場合に、非常に有用です。

    BigQuery パイプラインの詳細については、以下のページを参照してください。

    docs.cloud.google.com

    BigQuery パイプラインを作成する

    それでは、以下の記事の異常検出モデルの更新を例として、Data Engineering Agent とともに BigQuery パイプラインを作成していきます。

    tech.nri-net.com

    BigQuery の「スタジオ」画面より「▼＞パイプライン」を選択します。

    パイプラインの作成に使用するアカウントを選択し、「開始」を押下します。

    「エージェント チャットを開始」アイコンを押下します。

    「Ask agent」箇所にプロンプト（作成したいパイプラインの内容を記したもの）を入力し、送信します。

    クエリの提供を求められるので、入力の上再送します。
    なお、クエリの作成も AI エージェントに任せることも可能ですが、意図した内容のクエリを正確に作成させるためには、プロンプトの作りこみが必要になります。

    しばらく待つと、パイプラインが作成されました。中身を確認し、問題なければ「Apply」を押下します。

    以上で、パイプラインの作成は完了です。

    なお、認証情報や処理を行うロケーションの設定は、「設定」タブから変更できます。

    また、「スケジュール」よりパイプラインの実行スケジュールを設定できます。
    これにより、パイプラインの定期実行が可能となります。

    おわりに

    本記事では、Data Engineering Agent とともに BigQuery パイプラインを作成する際の概要を紹介しました。
    詳細な機能やベストプラクティスなどについては、以下のページを参考にしてください。

    docs.cloud.google.com

    また、Google Cloud の「データ エージェント ファミリー」については、以下の記事もご参照ください。

    AI エージェント 記事
    Conversational Analytics Agent BigQuery の会話分析機能を活用する - NRIネットコムBlog
    Data Governance Agent BigQuery テーブルやカラムの説明（メタデータ）を自動生成する - NRIネットコムBlog
    Data Science Agent Google アナリティクスのデータの異常を BigQuery ML で検出してみた - NRIネットコムBlog

    AI エージェントの登場で、以前より容易に、かつコストをかけずにデータを活用できる土壌ができました。 今こそ、収集した Google アナリティクスなどのデータから価値を引き出していきましょう！

    執筆者神崎健太

    「Google マーケティング プラットフォーム」をはじめとしたマーケティングテクノロジーにかかわるコンサルティングおよび、テクニカルサポートを担当しています。


    Amazon 著者ページ：神崎 健太:作品一覧、著者略歴 - Amazon.co.jp