はてなブックマーク

G-gen の佐々木です。2024年8月22日（日本時間）、Google Cloud のサーバーレス コンピューティング サービスである Cloud Functions が Cloud Run functions としてリブランディングされました。当記事ではリブランディングによる影響や変更点を解説します。 Cloud Functions のリブランディング リブランディング Cloud Functions の世代 影響と変更点 既存の Cloud Functions 関数の動作・管理に影響なし Cloud Run の機能を使用できる 第1世代の Cloud Functions は名称変更のみ Cloud Run コンソールへの統合 Cloud Run services との差別化 Cloud Functions のリブランディング リブランディング 2024年8月22日（日本時間）、Clo

G-gen の杉村です。BigQuery の継続的クエリ（Continuous queries）機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 継続的クエリとは ユースケース 実行可能な SQL ステートメント 料金 BigQuery Editions 制約 利用方法 シンプルな例 APPENDS 関数の利用 制約と注意点 利用できない関数 認証・認可 レコードの削除と更新 クエリの更新とキャンセル リージョン 概要 継続的クエリとは 継続的クエリ（Continuous queries）は事前定義した SQL を BigQuery で継続的に実行し、ニアリアルタイムなデータ変換やリバース ETL を実現するための機能です。 同機能では、BigQuery

G-gen の福井です。当記事では、Google が提供するマルチモーダル生成 AI モデル Geminiと、画像生成 AI モデル Imagen を使用して、アップロード画像から類似画像を生成する Web アプリを開発する手順をご紹介します。 はじめに 当記事の概要 実行イメージ 利用サービス・ライブラリ ソースコード Python のバージョン requirements.txt main.py ローカルでの動作確認 ローカル実行 ローカルで起動したアプリへ接続 Google Cloud へのデプロイ Cloud Run の使用 ディレクトリ構成 Dockerfile の作成 Cloud Run にデプロイ 動作確認 Cloud Run のアクセス元制御について はじめに 当記事の概要 当記事では、Google が提供するマルチモーダル生成 AI モデル Geminiと、画像生成 AI

G-gen の堂原です。当記事では、Google Cloud Next Tokyo '24 セッション「サイト内の検索コストを大幅削減！日本最大級のデリバリー サービス「出前館」に Vertex AI Search を導入した話」に関する速報レポートをお届けします。 他の Google Cloud Next Tokyo '24 関連記事は Google Cloud Next Tokyo '24 の記事一覧からご覧いただけます。 概要 会社紹介 Vertex AI Search for Retail 比較検討 導入効果 関連記事 概要 本セッションでは、デリバリーサービス「出前館」の検索エンジンを Vertex AI Search for Retail に移行した際の検証・導入効果について紹介されました。 会社紹介 株式会社出前館様は Web サイトやアプリを通して、料理・食品・日用品の宅配

G-gen 又吉です。当記事では、2024年6月に GA した Vertex AI Search の最新検索方式である Answer API について紹介します。 はじめに RAG とは Vertex AI Search Answer API 概要 メリット クエリフェーズ クエリ言い換え クエリ簡素化 マルチステップ推論 クエリ分類 検索フェーズ 回答フェーズ フォローアップ検索（マルチターン検索） 概要 セッション サンプルコード コード Tips クエリ言い換えの制御 フォローアップ検索 はじめに RAG とは RAG とは、Retrieval Augmented Generation の略称であり、生成 AI によるテキスト生成に、外部データソースを用いて情報の根拠付けを行うアーキテクチャのことです。 本来生成 AI が持ち得ない情報を与えることで、組織固有の情報を加味したテキスト

G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure

G-gen の神谷です。本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Looker Dashboard Summarization を使い、Looker のダッシュボードを生成 AI が自然言語で説明する機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに 前提知識 Looker とは Looker 拡張機能と拡張フレームワークとは Gemini とは Looker Dashboard Summarization できること 料金 1. グラフの説明 2. 数値の特徴を説明 3. 次のアクションの提案 デモンストレーション動画 実装 構成 実装の手順 実装時の注意点 日本語で返答させるには はじめに 当記事では、Looker 拡張機能である Looker Dashboard Summarization を使い、生成 AI によって Looker のダ

G-gen の神谷です。今回、Gemini 1.5 Pro を活用して、ビジネス心理テストであるストレングスファインダーで自身の強みを分析し、AI によるマネジメントやメンタリングが可能か、試してみました。本記事では、その取り組みの詳細をご紹介します。 ストレングスファインダーとは Strength Mentor Bot の作成 Gemini 1.5 Pro を使った実装 34の資質を JSON 形式で抽出 BigQuery への保存と分析 チームビルディングへの応用 ストレングスファインダーとは まず、ストレングスファインダーについて説明します。 ストレングスファインダーは、個人の強みを特定し、それを活かすための評価ツールです。クリフトンという心理学者によって開発され、現在はギャラップ社が提供しています。 34の資質（強み）を測定し、個人の弱みではなく強みに焦点を当てることで、より良いパ

G-gen の杉村です。Google Cloud と GCP（Google Cloud Platform）、どちらの呼び名が正しいの？という疑問をよくお聞きします。結論からいうと、正式名称は Google Cloud です。 正式名称は「Google Cloud」 GCP と呼んではいけないの？ Google Cloud と Google 正式名称は「Google Cloud」 Google が提供するクラウドプラットフォームである Google Cloud。インターネット上には「Google Cloud」「Google Cloud Platform」「GCP」と複数の呼び名が見られます。どの名称で呼ぶべきなのでしょうか。 現在では、正式名称は「Google Cloud」です。 「Google Cloud Platform」およびその略称である「GCP」は旧称であり、2022年6月に「Go

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 前提知識 事象 原因 エラー文の違い 対処 アクセススコープの変更 手動で作成したサービスアカウントをアタッチ ユーザーアカウントの使用 前提知識 Compute Engine （以下 GCE）は、デフォルトでは [email protected] のサービスアカウントが設定されます。但し、このサービスアカウントにはプロジェクトレベルで 編集者（roles/editor）ロールが付与されており、広範囲な権限を持っているため

G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder (Vertex AI Agents) を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI Agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケー

はじめまして！4月に G-gen に入社した奥田梨紗です。この度 Google Cloud Next '24 in Las Vegas で発表された Gemini in BigQuery を試してみたので手順等をご紹介します。 はじめに Gemini in BigQuery とは 試したこと Google Cloud 側へ利用申請を行う BigQuery キャンバスを作成 Gemini in BigQuery を用いて SQL やグラフを作成 例1: 特定の数値でデータを分類する 例2: 分類分け 例3:グラフを作成 関連記事 はじめに Gemini in BigQuery とは Google Cloud Next '24 で発表された Gemini for Google Cloud の機能の1つです。 データキャンバスを作成し、自然言語（いわゆる普段話す言葉）をプロンプトに入力することで

G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート（1日目）に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 Google Cloud Next '24 in Las Vegas 概要 AI Hypercomputer Google Axion Gemini 1.5 Pro 等の生成 AI モデル Vertex AI でのグラウンディング「Enterprise Truth」 Vertex AI Agent Builder プロンプト開発と精度計測の補助 生成 AI による開発補助 生成 AI によるデータ活用 生成 AI とセキュリティ Google Workspace

G-gen の佐々木です。当記事では、GKE における Workload Identity Federation の、新しく追加された設定方法を解説します。 GKE における Workload Identity Federation 従来の方法 新しい方法 新しい方法の制限事項 新しい Workload Identity Federation の設定手順 当記事で使用する GKE クラスタについて ServiceAccount リソースの作成 Workload Identity Federation の設定 動作確認 参考手順 GKE における Workload Identity Federation 従来の方法 GKE クラスタ内の Pod 上で動作するアプリケーションから Google Cloud の API にアクセスする場合、認証方法として Workload Identity Fe

G-gen の杉村です。Google Cloud では、「サービスアカウントキーの漏洩レスポンス（Service account key exposure response）」という組織ポリシーの制約により、サービスアカウントキーがパブリックな Git レポジトリ等に漏洩した場合でも、自動的に検知され、キーが無効化されます。当記事では意図的にキーを漏洩させた場合の検証結果をご共有します。 キーの漏洩検知・無効化の自動化 有効化 前提 設定画面へ遷移 制約を有効化 GitHub のパブリックレポジトリにキーを push 自動検知と無効化の確認 メールでの通知 WAIT_FOR_ABUSE の場合の挙動 キーの漏洩検知・無効化の自動化 サービスアカウントキーの漏洩レスポンス（Service account key exposure response）は、組織のポリシーの制約の1つであり、制約の

G-gen の荒井です。当記事では「データの移行（新規）」機能を使用して、Google Workspace アカウント間でメールデータを移行する方法をご紹介します。 機能の概要 仕様と制約 移行タイミングと対象データ 制約 移行手順 概要 手順1 : コンソールへアクセス 手順2 : 委任リクエストを送信 手順3 : 委任リクエストの確認 手順4 : 委任リクエストを承認 手順5 : 委任承認の確認 手順6 : csv アップロード 手順7 : 移行設定 手順8 : 移行の実行 機能の概要 「データの移行（新規）」は、Google Workspace のアカウントの Gmail データを、自組織内または別組織の Google Workspace アカウントへ移行するための機能です。 当機能の公開前は、メールデータ移行のための公式ツールは存在せず、ユーザーごとに個別に対応する必要がありました

G-gen の杉村です。 Google Cloud (旧称 GCP) の BigQuery にはアクセス制御のための仕組みが多数存在します。その中でも 承認されたビュー と 承認されたデータセット というよく似た名前の2つの機能をご紹介します。 この機能を使うと、利用者に見せるデータの範囲 (カラムやレコード) を制限したり、 BigQuery の IAM 管理運用を楽にしたりすることができます。 BigQuery へのアクセス制御について 承認されたビュー 承認されたビューとは ユースケース 設定手順 制約 承認されたデータセット 承認されたデータセットとは ユースケース 設定手順 制約 BigQuery へのアクセス制御について 当記事でご紹介する「承認されたビュー」機能と「承認されたデータセット」機能を理解するには、 Google Cloud の IAM の仕組みの基本と、 BigQ

G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Cloud Logging の Tips を紹介します。 Cloud Logging とは ログカテゴリと保存先 全体像 カテゴリ 保存先 保持期間 料金 2 つの料金軸 節約時のログ精査方法 ログエクスプローラー Duet AI データアクセス監査ログ利用時 有効は継承される 閲覧には追加権限が必要 参考記事 Cloud Logging とは Cloud Logging (旧称 Stackdriver Logging) は Google Cloud 上のシステム等が生成したログを収集、保管、管理するサービスです。 似ている名前のサービスで Cloud Audit Logs もありますが、これは監査ログを記録するサービスでログの出力先が Cloud Logging です。 Cloud Logging および

G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 Vertex AI Search データストア アプリ 実行環境 初期設定 ライブラリインストール ユーティリティ関数 モデルの初期化 Vertex AI Search 関数 テキスト分割関数 RAG を実行する関数 実行 はじめに Vertex AI Search and Conversation とは Vertex AI Search and Conversation とは、Google の生成 AI 技術を簡単に利用するためのフルマネージドの

G-gen の武井です。当記事では Google Cloud SDK の2つの認証コマンドの違いについて解説します。 はじめに 2つの認証用コマンド gcloud auth login gcloud auth application-default login 違い 検証 シナリオ 検証パターン 実行環境 プログラムのソースコード 検証結果 パターン #1 パターン #2 パターン #3 パターン #4 まとめ 検証結果 補足1 (認証情報の格納場所) 補足2 (認証コマンドの実行方法) 関連記事 はじめに 2つの認証用コマンド gcloud auth login と gcloud auth application-default login はどちらも Google Cloud SDK の認証 に使用されるコマンドですが、その違いと適切な使い分けが混同されがちです。 そこで当記事では、こ

G-gen 又吉です。Google の提供する最新の生成 AI モデルである Gemini を用いて、マルチモーダルな生成 AI チャットアプリを簡単に開発できましたので、ご紹介します。 概要 当記事の内容 デモ動画 前提知識 Gemini とは 使用するモデル Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 認証 テキストのみ 画像① 画像② 動画 利用状況の可視化 概要 当記事の内容 Google の提供する最新の生成 AI モデルである Gemini を用いて、テキスト、画像、動画の入力に対応したマルチモーダルな生成 AI チャットアプリを作ってみたので、当記事ではその開発の経緯をご紹介します。 実行環境として Google Cloud（旧称 GCP）の Clo

G-gen の杉村です。 Google Cloud (旧称 GCP) の仮想サーバのサービスである Google Compute Engine (GCE) には 確約利用割引 (Committed use discounts) という割引の仕組みがあります。 本記事では確約利用割引の仕組みを分かりやすく解説します。また、 Amazon Web Services (AWS) の類似機能である Reserved Instance や Savings Plans との違いについても言及します。 確約利用割引の基本 確約利用割引とは 料金 金額の例 2種類の確約利用割引 リソースベースのコミットメント 仕組み 購入・適用方法 Flexible CUD 仕組み 購入・適用方法 GKE や Cloud Run への適用 どんなときに購入すべきか 購入すべきとき 購入すべきではないとき コミットメントの

こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピボットテーブル 関数 データの抽出 計算された列 列の統計情報 データの更新 実践 はじめに Connected Sheets とは Connected Sheets とは、Google Sheets (スプレッドシート) 上で BigQuery に保存されているデータの可視化・分析・共有ができる Google Sheets の拡張機能です。 Google Sheets にはシート当たり最大 1,000 万セルまたは 1 万 8,278 列 (列 ZZZ) までしか持てない制限があ

G-gen の佐々木です。当記事では Cloud Run 利用時のよくあるトラブルとして、「認証が必要」の設定を行ったサービスにブラウザからアクセスできない事象とその原因、対処法について解説します。 事象 原因 解決策 Identity-Aware Proxy（IAP）を使用する Identity Platform を使用する Cloud Run プロキシを使用する 事象 Cloud Run にデプロイしたサービスの URL（*.a.run.app の URL）にブラウザからアクセスすると、ブラウザに以下のエラーメッセージが表示される。 Your client does not have permission to get URL / from this server. ブラウザに表示されるエラーメッセージ 原因 Cloud Run の設定画面では、すべてのユーザーがサービスにアクセスでき

G-gen の杉村です。この記事にたどり着いた方は、もしかしたら自社の Google Cloud（旧称 GCP）の組織に My First Project という名前のプロジェクトが大量発生していることに気がついた方かもしれません。当記事ではその原因と、対処法をご紹介します。 事象 原因 My First Project とは 原因となる IAM 権限 対処の方針 対処の手順 1. IAM ロールの削除 2. 不要プロジェクトの利用有無確認 3. 不要プロジェクトの削除 組織の運用 事象 自社の Google Cloud（旧称 GCP）の組織ツリーは、Google Cloud の Web コンソールを開いて、検索ボックスに「Manage Resources」と入力し、リソースの管理画面へ遷移することで確認することができます。 するとツリーの中に My First Project という名称

G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 (Discovery) データリネージ データリネージとは BigQuery の自動トラッキング 保持期間 OpenLineage との統合 料金 API コール データリネージ アクセス制御 (IA

G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Functions Cloud Storage トリガの Cloud Functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 Cloud Functions 関数のデプロイ 実行結果確認 トラブルシューティング Please verify that the bucket exists Build failed with status: FAILURE and message: An unexpected