Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue

この記事は GMOアドマーケティング Advent Calendar 2023 18日目の記事です。 はじめに こんにちは、GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 GMOSSPではAutoML Visionで広告画像の解析を行い、解析結果を広告審査に利用しています。 そしてAutoML Visionを利用している方はGoogleから下記メールが度々送られているため、ご存知だと思いますが 2024/01/23 にAutoML Visionの役目を終えます。 Your AutoML Vision Services will remain available through January 23, 2024, unless you discontinue your usage of AutoML Vision, or migrate to Vertex AI b

提供される教材を順に学んでいくことで、Google Cloudの生成AIツールであるVertex AIや Generative AI Studio を実際に体験できると説明されています。 教材はテキスト形式のチュートリアル The ArcadeのWebサイトを見る限り、シューティングゲームのような楽しい要素が含まれているのかなと思ったのですが、実際に試してみると、解説を読みつつ実際のツールを操作しながらチュートリアルをこなしていくテキスト形式の実践的な教材のようでした。 下記は実際の教材画面の一部です。 教材をこなしていくとポイントを獲得することができるので、これがゲーミフィケーションの要素となっているようです。また、ポイントを獲得すると賞品としてノベルティがもらえるとされています。 公開されている教材は下記のレベル1とレベル2の2つ。これから毎月教材が追加されていく予定です。 Level

※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI は数え切れないほどの方法で私たちの想像力を捉えてきました。それは、人間のような反応をする chatbot だけでなく、まったく新しいユーザー エクスペリエンスを引き出してくれます。さらに、追加の専門的なスキルを必要とする従来の AI ワークロードとは異なり、これらの新しい生成 AI ワークロードは、デベロッパー コミュニティのより多くの開発者が利用できます。アプリケーション デベロッパーが生成 AI アプリケーションの構築に本格的に取り組む際、イノベーションの鍵はモデルそのものだけでなく、その使用方法やモデルの基盤にあるデータにもあります。 このたび、Google は、Google Cloud Next において、運用データを使用したパフォーマンスとスケーラ

G-gen の杉村です。当記事では Google の生成 AI 技術利用してチャットボットエージェントや検索エンジンを簡単に作成できる Vertex AI Agent Builder を解説します。 概要 Vertex AI Agent Builder とは 名称の変遷 ユースケース 社内検索エンジン 顧客対応補助 RAG の実現 料金 Vertex AI Agents Vertex AI Agents とは 2種類のエージェント 対応言語 Tools とコード実行（Code Interpreter） デプロイ Vertex AI Search Vertex AI Search とは 対応言語 サードパーティ製品との接続 オートコンプリート スニペットと抽出コンテンツ 検索結果の要約 フォローアップ検索 ウェブサイトへのウィジェット追加 分析 アプリのオプション Enterprise ed

大規模言語モデル（LLM）とは何か？ その仕組みと実用化まで 登壇したのは、グーグル・クラウド・ジャパン合同会社　ソリューションズアーキテクトの中井悦司氏と、同社のAI/ML 事業開発部長である下田 倫大氏の2人。まず中井氏がセッションのテーマである大規模言語モデル（LLM）の基礎知識を解説した。 グーグル・クラウド・ジャパン合同会社 Solutions Architect 中井悦司氏 ウィキペディアで「言語モデル」を調べると、「単語列に対する確率分布を表わすもの」とある。中井氏は、世の中に存在する大量の自然言語で書かれたテキスト文書に対し、その文書がどれほど「ありそう」なものなのかを確率で表現するものが言語モデルであると説明した。 言語モデルの利用例として、文章の次に来る単語の予測が挙げられる。例えば、"This is a ……"とあると、多くの日本人は"pen"と想像することが多い。そ

G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の BigQuery 対応 BigQuery でのベクトルインデックス構築 BigQuery とデータ分析 Data clean rooms (Preview) BigQuery to Bigtable export BigQuery Omni

Googleが現地時間2023年8月29日、AI開発・運用を簡単に行える機械学習プラットフォーム「Vertex AI」の対応モデル増加や、企業によるジェネレーティブAIを用いたアプリ構築を支援するための機能追加を発表しました。 Vertex AI Next 2023 announcements | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine-learning/vertex-ai-next-2023-announcements/ Googleは年次開発者向けイベント「Google Cloud Next'23」の中で、基盤モデルと企業データとの連携、カスタマイズなどを行うことが可能なVertex AIの機能拡張を行うことを発表しました。 Vertex AIにおいてジェネレーティブAIモデルのカタログ機能

企業による生成AIアプリ構築はどう楽になる？　Google Cloudが開発基盤Vertex AIを強化：Google Cloud Next ’23 Google Cloudが年次イベント「Google Cloud Next '23」で、多数のモデルへの対応、社内の既存アプリやデータとの連携など、企業による生成AIアプリ構築を支援するさまざまな新機能を発表した。

SQL-only LLM for text generation using Vertex AI model in BigQuery Want to do quick generative AI without writing much code, meeting your data where it is, only with SQL queries and without having to worry about security, privacy and compliance issues? BQML (BigQuery ML) helps you perform analytics on data stored in BigQuery using large language models (LLM) from Vertex AI. This means you can also

本シリーズの執筆者 Google Cloud で生成 AI アプリケーションを作ろう！ シリーズの記事は、Google Cloud Japan の下記の有志メンバーが共同で執筆しています。 執筆者 下田倫大（Norihiro Shimoda, Google Cloud AI/ML Practice Lead） 中井悦司（Etsuji Nakai, Google Cloud Solutions Architect） 木村拓仁（Takuto Kimura, Google Cloud Customer Engineer） RyuSA レビュアー 牧 允皓（Yoshihiro Maki, Google Cloud AI/ML Specialist） 鈴木かの子（Kanoko Suzuki, Google Cloud Associate Customer Engineer） 吉田望（Nozomu Y

みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとしてインターンシップ「CA Tech JOB」に参加させていただいた、高橋駿一と申します。本記事では、インターンシップで行った、MLOps基盤の開発についてご紹介します。 極予測TDとは 極予測TDとは、レスポンシブ検索広告（RSA）を自動生成する「広告テキスト自動生成AI」と、広告配信効果を事前に予測する「効果予測AI」を掛け合わせることで、効果的なRSAを制作するプロダクトです。 本インターンシップでは、効果予測AIのMLOpsに取り組みました。 背景 チームに参加した際、以下のような状況にありました。 複数の予測モデルが運用されているうち、一部、MLパイプラインが未実装のものがあった 上記モデルはリリース当初からモデルが更新されていなかったが、時間が経過したことでデ

こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 以前の記事 [1] では、item2vecと商品メタデータを用いた、メルカリのホーム画面のレコメンド改善のお話をさせていただきました。今回は商品詳細画面でレコメンド改善を行ったお話をさせていただきます。商品詳細画面の例は図1の通りです。ユーザーはアイテムの詳細な説明を見たいときにこの画面に来訪するため、同様の商品を推薦する自然な接点として非常に重要です。 まず、私たちが商品詳細画面で行った改善の概要を示します。各部の詳細については次節以降で詳しく触れます。 日本有数の大規模ECサービスにおいてベクトル検索ベースの商品推薦アルゴリズムを実装し、推薦精度の大幅な改善を実現しました。 協調フィルタリングとニューラルネットワーク (以下、NN) を利用した商品推薦アルゴリズムを構築し、コールドスタ

米Google傘下のGoogle Cloudは6月8日（現地時間）、機械学習（ML）プラットフォーム「Vertex AI」での生成AIサポートを一般に提供すると発表した。日本でも既に利用できるようになっている。 Vertex AIは、MLモデルやAIアプリのトレーニングやデプロイができるプラットフォーム。3月15日から一部のテストユーザーに先行提供されていた。 その機能の一部として、GoogleのLLM「PaLM 2」や文章から画像を生成する拡散モデル「Imagen」などを利用できる。 これらのモデルはVertex AIのモデル集「Model Garden」に含まれる。ユーザーは、これらのモデルを使ってChatGPTのようなチャットbotやセマンティック検索ツールなどの生成AIアプリを構築できる。 Model Gardenには現在60以上のモデルが登録されている。コード補完や生成のための新

Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と

この記事は新野淳一氏のブログ「Publickey」に掲載された「GitLabがGoogle CloudとAI分野で提携、AIをGitLabツール群に統合。コードの自動生成、コードにある脆弱性の説明、コードレビュアーの推薦など実現」（2023年5月10日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米GitLabとGoogle CloudはAI分野での提携を発表し、Google Cloudが提供するAI機能の「Vertex AI」などにより、GitLabのツール群にAIによる開発者の支援機能を組み込んでいくとしました。 そしてGitLabは5月3日付けのブログ「GitLab details AI-assisted features in the DevSecOps platform」で、今後どのようなAI関連の機能をGitLabに実装していくのかについて説明してい

TensorFlow Recommenders と Vertex AI Matching Engine によるディープ リトリーブのスケーリング ※この投稿は米国時間 2023 年 4 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 以前のブログ投稿で、Google Cloud でレコメンデーション システムを実装する方法として、（1）Recommendations AI によるフルマネージド ソリューション、（2）BigQuery ML での行列分解、（3）Two-Tower エンコーダと Vertex AI Matching Engine を使用したカスタムのディープ リトリーブ手法の 3 つを紹介しました。このブログ投稿では、3 つ目の選択肢について詳しく説明し、プレイリストのレコメンデーション システムを構築するために Vertex AI でエンド

こんにちは、カウシェで機械学習エンジニアをしている tatsuya （白川達也）です。最近まで取り組んでいたレコメンド機能の実装を通じて、Vertex AI Pipelines のカウシェにおけるプラクティスを自分なりに固めてみたので、公開してみたいと思います。 今回紹介するプラクティスのなかには実は Bad Practice なものもあるかもしれません。より良い方法をご存じの方は、直接教えていただいたり、Twitter などで共有・公開していただけるととても嬉しいです。この記事は半分それを期待して書いています。プラクティスはどんどん共有・公開して、大事な部分にフォーカスできるようにしましょう！ なお、Vertex AI Pipelines は Kubeflow Pipelines を GCP 上で実行するサービスなので、本当は Vertex AI Pipelines と Kubeflow

※この投稿は米国時間 2023 年 3 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 ジェネレーティブ AI は、インタラクティブなマルチモーダル体験の新しい波の到来を告げるものであり、情報、ブランド、そして互いとの関わり方を変えるものです。Google Cloud は、AI に対する Google の数十年にわたる研究、革新、投資の力を活用し、企業や政府に対して、シンプルな自然言語のプロンプトからテキスト、画像、コード、動画、音声などを生成する機能を提供します。 この技術の可能性を実現することは、すべての開発者、企業、政府の手にこの技術が提供されることを意味します。これまで、組織がジェネレーティブ AI にアクセスすることは難しく、カスタマイズはおろか、時には信頼を損ないかねない不正確な情報が生成されることもありました。10 年前、企業や開発者が新しい