はてなブックマーク

概要 Gemini を用いた少サイズデータを用いたコンテンツ生成に焦点を当て、構造化データ（CSV、JSON など）を効果的に活用する方法をPythonを用いて解説します。Gemini が持つ大規模トークン処理能力のメリットを活かした、より効率的なコンテンツ生成手法を提案します。 序論 AI が急速に進化する時代において、大量のデータを分析・活用する能力は極めて重要です。RAG 環境はこうしたタスクに理想的ですが、より少量のデータでコンテンツ生成を行う必要があるシナリオもあります。Gemini は、大量のトークンを処理できるため、有望な解決策を提供します。プロンプトとアップロードされたファイルを組み合わせることで、限られたデータでも効果的に活用できます。ただし、CSV や JSON などの構造化データ形式を扱う際には、AI が情報を正確に解釈・理解できることを保証する必要があります。ここで

はじめに Spannerはマネージドデータベースとして提供されているサービスです。そのためパッチ適用やハードウェアのメンテナンスなど、データベースで日常的に発生する運用面での作業の多くは自動的に実施されます。 一方で、データベースの運用という観点ではそれ以外の必要な作業や考慮するべき事項、監視ポイントなどがあります。一般的なリレーショナルデータベース（以下、RDB）と同様の操作もありますが、Spanner特有の概念も存在します。これらについて、RDBとの差分を中心に解説します。理由が明らかな内容についてはその背景となる理由も極力記載しました。 ストレージ ストレージサイズ Spannerではストレージサイズはテーブルに書き込んだデータの量に応じて自動的に拡張されます。そのため、一般的な意味でストレージの残り容量を監視する必要はありません。ただし、1ノードあたり10TiBというストレージの上

「図解即戦力 Google Cloudのしくみと技術がこれ1冊でしっかりわかる教科書［改訂2版］」をより効果的に読むポイント 「図解即戦力 Google Cloud のしくみと技術がこれ 1 冊でしっかりわかる教科書」とは Google Cloud の基礎知識が学べる「図解即戦力 Google Cloud のしくみと技術がこれ 1 冊でしっかりわかる教科書」が、2024 年 9 月 (電子書籍版は 8 月) に出版されました。 こちらの書籍は Google Cloud のパートナーエンジニアと Google Cloud のパートナーである grasys さんの共著となっており、実際に Google Cloud を現場で使用しているプロフェッショナルの視点で初学者・中級者向けに書かれています。そのため、本書は これから業務で Google Cloud を使用する上で必要な知識 がまとめられた

Cloud Run のサービスメッシュを試した 以前から GKE では Cloud Service Mesh を使ってサービスメッシュを利用することができましたが、Cloud Run でもサービスメッシュを利用できるようになりました（作成時点の2024-09-02ではプレビュー段階）。 この記事ではサービスメッシュならではの機能をサンプルアプリを使って確認します。 検証シナリオ 検証環境の構成 サンプルアプリとして Istio のドキュメントに掲載されている bookinfo （本の情報やレビューが見られる Web アプリで、マイクロサービスで実装されている）のコンテナイメージを利用します。 検証する機能 下記の4点について確認を行います。 サービス間の認証、認可を自動的に行う 従来の Cloud Run では ID トークンを明示的にヘッダに付与してリクエストを送信する必要があり、アプリ

Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ

Google Cloud でも Gemini やその他の生成 AI のモデルやソリューションが多く発表されています。今回は、その中でも、Looker から Gemini を利用した拡張機能の紹介の第1弾として Explore Assitant を紹介したいと思います。 第2弾の Dashboard Summary の記事は こちら です。 tl;dr Explore Assistant を使えばチャット形式でデータへの問い合わせやチャート作成が可能 Gemini は多くの言語に対応しているので、日本語でも問題なく利用可能 エンジニアの方であれば、プロンプトなどのカスタマイズを行い、精度向上が可能 Explore Assitant とは Explore Assitant は、公式に Looker に組み込まれた機能ではなく、Looker Extension (拡張機能) を利用して Look

何の話かと言うと Google Cloud で利用可能なマルチモーダル対応の基盤モデルである Gemini 1.5 Pro / Flash に対して、Context caching の機能が利用可能になりました。これがどのような機能で何の役に立つのかを実際の使用例とあわせて、わかりやすく説明します。 Context caching のない時 Gemini はマルチモーダル対応モデルなので、プロンプトに動画などのメディアコンテンツを埋め込むことができます。具体的には、次のように Python のリスト形式でプロンプトを構成します。

LLM Agent 入門 データ処理パイプラインと LLM Agent の違い Google Cloud の Gemini API には Function Calling 機能が実装されており、基盤モデルの Gemini に「外部 API を利用して回答に必要な情報を収集する」という動作が追加できます。ここでポイントになるのは、「どの API をどのように使用すれば回答に必要な情報が得られるか？」という部分を Gemini 自身に考えさせるという点です。これを利用すると、いわゆる LLM Agent が実装できます。 集めるべき情報の種類や処理の手順があらかじめ決まっている場合は、LLM によるテキスト生成を組み込んだデータ処理パイプラインを実装する方が安定的に動作する（期待する結果が確実に得られる）はずですが、特定の手順を前提としない柔軟な処理を実現する際は LLM Agent が向いて

この記事の目的 リレーショナルデータベース（以下、RDBMS）を大規模に利用されるときの構成手法として、データベースシャーディング（Database sharding）という方法があります。オンラインゲームやSaaSなどアクセス頻度が高く、個別のユーザーごとの操作による更新量が大きい用途などでデータベースの書き込み性能の限界に対しての回避策として多くの場面で利用されている手法です。 この手法の実現方法や得失について簡単に解説したあと、この手法の経験者がSpannerを使う場合にシャーディングでの概念をどのようにSpannerに対応できるか解説します。 シャーディングについては十分わかっており、概念の読み替えだけを知りたい方は最後の表をご覧ください。 RDBMSでのシャーディングの構成 シャーディングは通常水平分割で実現されます。つまり1つのテーブルのレコードを複数の異なる物理データベースに

はじめに Vertex AI Agent Builder で作る検索システム Vertex AI Agent Builder（旧 Vertex AI Search & Conversation）を使用すると文書検索システムが簡単に構築できて、コンソール上のデモ用検索ポータルから検索処理が体験できます。検索キーワードの「意味」を理解して検索するセマンティックサーチを行うので、次のように微妙にタイプミスをしても、こちらの意図を汲み取って検索結果を返してくれます。また、検索結果のサマリーテキストも表示されます。 コンソールの検索ポータルで検索する例 Vertex AI Agent Builder による検索システムは、次のような構成になります。「データストア」と「検索アプリ」の2つのコンポーネントを作成して利用します。 Agent Builder による検索システムの構成図 データストアは、ドキ

2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 21日目は Cloud Run を使って WordPress サイトを構築する方法についてご紹介します。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 WordPress on Cloud Run WordPress は CMS の定番の一つと言える、主にブログやニュースサイトなどのコンテンツ管理のための無料で使えるオープンソースソフトウェアです。 WordPress はコンテナ イメージが Docker 公式で提供されており、コンテナで運用することが比較的簡単です。コンテナといえば Cloud Run と言うことで、WordPre

はじめに こんにちは！Google Cloudでオブザーバビリティを担当しているものです！ここ1ヶ月ほどでOpenTelemetry for Goにエグザンプラーに関するパッチが2件入り、先日の1.23.0と1.24.0のリリースでその両方が取り込まれました。 まだ試験的な機能ではありますが、早速エグザンプラーを試してみましょう。 TL;DR トレースエグザンプラーの取得をOpenTelemetryで行うデモを用意しました。Google Cloudのアカウントがあれば割と簡単に試せるはずです。ローカルやKubernetesでも動かす場合も手元での修正はそんなに難しくないと思います。 詳細はREADMEを読んでみてください。 エグザンプラーとは そもそもエグザンプラー（Exemplar）とは何かについて紹介すると、集約されたメトリクス（ヒストグラム、合計値、平均値、最小値、最小値など）をアノ

2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N

この記事は Google Cloud Advent Calendar 2023 (通常版) の 12/24 の記事です。 CI/CD してますか？ Cloud Deploy は、継続的デリバリーに特化したフルマネージドサービスで、以下の特徴を持っています。 Google Kubernetes Engine, Cloud Run をサポート デプロイパイプライン、デプロイ対象などをコードで管理 (Infra as Code) 開発者生産性の指標をサポート そんな Cloud Deploy ですが、2022 年の一般提供 (GA: Generally Available) から早 2 年が経とうとしていますが、 2023 年のアップデートが熱い んです！ 継続的デリバリーにおいて 必要な機能が 2023 年に出揃った といっても過言ではありません。 本記事では、現状でどのようなデプロイパイプラ

2023年は「Cloud Run を触って覚える」をテーマとした一人アドベントカレンダーを一人で開催しており、Cloud Run のさまざまな機能や、Cloud Run でよく使う構成などを実際の使い方と一緒にご紹介しています。 15日目は Cloud Run と Memorystore for Redis のインテグレーションについてご紹介します。 Cloud Run の概要は技術評論社さまのブログ「gihyo.jp」に寄稿した記事で解説していますのでこちらもぜひご覧ください。 Memorystore とは Memorystore はインメモリ サービスのマネージド サービスです。キャッシュ エンジンを提供するスタンダードな OSS である Redis クラスタ、Redis、Memcached と 100% 互換性のあるインメモリ サービスを構築でき、アプリケーションのキャッシュ レイヤ

この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 20 日目の記事です。 こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataformの紹介をしたいと思います！ Dataformとは BigQuery上でデータ変換を行う複雑なSQLワークフローを開発、テスト、バージョン管理、スケジュール設定することが出来ます。 Dataformのようなパイプライン管理ツールを使わない場合、SQLのバージョン管理や、テーブルAの後にテーブルBを作りたいといった依存管理などをどうするか考えなくてはいけません。 そのような課題を解決してくれるのがDataformになります。 Dataform自体の利用には料金がかからないというのも大きな特徴です！ Dataformの構成要素 Dataformは以下の４つの

こんにちは、流行りに乗りたくなる、Google Cloud Japan Advent Calendar 2023 運営です。 この記事は Google Cloud Japan Advent Calendar 2023 5 日目の記事です。 みなさん、Google Cloud を使う際、 Service Account の Key を発行していませんか？そしてその Key は正しく管理運用されていますか？Key を発行すると非常に管理運用にコストが掛かり、、端的に言うと非常にめんどいです。 本記事ではどのようにできるだけ Service Account Key の作成を避け、効率的に認証をするかを解説します そもそもなぜ Service Account Key を使うことを避けたいのか 「端的に言うと非常にめんどい」と言いましたが、一体どのような脅威が考えられるでしょうか。 認証情報の漏えい

2023年は「Cloud Run を触って覚える」をテーマとした一人アドベントカレンダーを一人で開催しており、Cloud Run のさまざまな機能や、Cloud Run でよく使う構成などを実際の使い方と一緒にご紹介しています。 16日目は Cloud Run サービスと Identity-Aware Proxy についてご紹介します。 Cloud Run の概要は技術評論社さまのブログ「gihyo.jp」に寄稿した記事で解説していますのでこちらもぜひご覧ください。 Identity-Aware Proxy とは Identity-Aware Proxy (IAP) は Cloud Run などのアプリケーションへのアクセスを保護するためのサービスです。ユーザー ID を確認し、コンテキストに応じてアクセスの許可・拒否を判断させることができます。 Identity-Aware Proxy

この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 12 日目の記事です。 今年になってから、生成AIのプロダクトが多く発表され、それぞれの内容の詳細を把握しきれてない方も多いのではないでしょうか。今回はその中でも、最も注目されているプロダクトの一つの Vertex AI Search の設定や利用方法の紹介をしたいと思います。 tl;dr Vertex AI Search の設定はこんなに簡単、すぐできる 意味や文脈を考慮したセマンティック検索、さらに検索結果を要約してくれてわかりやすい 生成AIを使えば、サンプルデータも簡単に作成できる Vertex AI Search とは Vertex AI Search は、ウェブサイト、非構造化データ (Google Cloud Storage) 、構造化データ (BigQuery) をデ

はじめに アプリケーションモダナイゼーションスペシャリストの関本と申します。 今回は、Google Cloud Japan Advent Calendar の 8 日目の投稿として、アプリケーションモダナイゼーションとあまり関係がない、Workforce Identity Federation についてご紹介します。 TL;DR Workforce Identity Federation を利用すると Cloud Identity を利用せずに他の IdP(Microsoft Entra ID などの外部 ID プロバイダー) の ID で Google Cloud を利用できます。 Workforce Identity Federation　とは？ Google Cloud の外部(他のクラウドや Kubernetes など)で実行されているアプリケーションが、Service Accou

VS Code で Duet AI を使おう この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 5日目の記事です。遅れてしまってすみません！ この記事では Duet AI をアプリケーション開発に使うための方法をご紹介したいと思います。 Duet AI for Developers Duet AI は今年リリースされた、Google Cloud の各サービスで利用できる AI アシスタンス機能の総称です。Google Docs 内での文章生成や Google Slides での画像生成などのような機能のほか、開発向けにはコードやクエリ文の自動生成、ソースコードの解説、トラブルシューティングなどに活用できます。人間に近いクオリティで、これまで人間が行っていたタスクの一部を任せたり、AI と共同でこなしていくことができるようになっていま

この記事は Google Cloud Advent Calendar 2023 (通常版) の 12/6 の記事です。 Cloud Run はコンテナ アプリをサーバーレス で実行するためのプロダクトですが、統合されている機能を利用せずに、単にアプリ基盤として利用するだけではもったいありません。今回は開発用途、また CI/CD を応用する例を考えてみたいと思います。 要約 ソースコード管理として GitHub を利用し、CI/CD 経由で Cloud Run へアプリをデプロイするフローを応用して、Pull Request 毎にアプリを確認できる URL を作成するフローを作ってみたいと思います。GitHub 以外でも可能ですが、今回の例では GitHub Actions を一部利用しています。 全体のアーキテクチャは以下のようになります。 サンプル コードはこちらにあります。 gclou

この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 3 日目の記事です。 今回は Google Cloud をゼロから学ぶならこれ! おすすめの学習リソースという素敵記事に倣って Google Kubernetes Engine (GKE) をこれから学びたい・詳しくなりたい人向けにおすすめの学習リソース (無償のもの) を紹介します。 初学者向けのリソースだけでなく、実際のクラスタ設計にも役立つリソースを紹介します！ プロダクトの概要を知る そもそも GKE って何？という方はプロダクトの概要を知ることから始めるのが良いかもしれません。 概要を知るのに良いコンテンツをいくつか紹介します。 ブログ記事で学習する 世の中には GKE の概要を紹介したブログ記事が多く存在します。 （初っ端から宣伝ですみませんが）一例として、私が以前書いた

みなさんこんにちは！ 2023年は「Cloud Run を触って覚える」をテーマとした一人アドベントカレンダーを一人で開催したいと思います。Cloud Run のさまざまな機能や、Cloud Run でよく使う構成などを実際の使い方と一緒にご紹介したいと思います。 初日は、私自身がデモなどでよく使う Next.js を Cloud Run にデプロイする方法を紹介します。 Cloud Run の概要は技術評論社さまのブログ「gihyo.jp」に寄稿した記事で解説していますのでこちらもぜひご覧ください。 Next.js アプリの作成 まずは Cloud Run でホスティングする Next.js のサンプルアプリを作ります。 Dockerfile 付きのサンプルアプリは Next.js 公式として公開されているので、コンテナ化した Next.js アプリは簡単に作ることができます。 FROM

Google Cloud、始めてみませんか？ この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 1 日目の記事です。 この記事では、「Google Cloud を始めてみたいけど、何から手をつけて良いのか分からない」「ドキュメントの見方もよくわからないぞ？」という方々にとって、お役に立ちそうな情報を記載していきます。 全体像を学ぶ方法から、最新情報をキャッチアップする方法まで、自分の今の状況に合わせて、記事で紹介しているコンテンツを活用いただければと思います！ 全体像を学ぶ プロダクトや機能について学ぶ前の段階として、そもそも Google Cloud で何ができるのか、どんなラインアップがあるのかを掴みましょう。 ここでは、全体像を掴むためのリソースを紹介していきます。 他社クラウドの知識をベースに学ぶ 既に他社クラウドの知識があ

Google Cloud Japan Advent Calendar 2023 1 日目です！ 昨年の 2022 年度版 に続き、今年度版のレポートまとめをお届けします。 DORA DORA は DevOps を軸に、2014 年から 組織やチームを成功に導く能力やプラクティスを研究 能力やプラクティスから組織のパフォーマンスを予測 といった調査研究をする Google Cloud のチームです。 State of DevOps Report 過去 9 年間、延べ 36,000 人に協力いただき調査を実施してきました。実践から期待できる成果と、その成果に大きく寄与する要因を分析しています。 本記事でまとめをお届けする 2023 年度版の全文は こちら からダウンロードできます！ 2023 年度サマリー 5 行でまとめるとこんな結果です。 開発速度と製品安定性は両立できます ユーザーにフォー

Google Cloud Champion Innovators Advent Calendar 2023 の1日目の記事です。 Advent Calendarの初日ということもあり、筆者がなぜGoogle Cloudが好きなのかについて。 筆者が初めてGoogle Cloudに出会ったのは2011年で、 App Engine に恋い焦がれてから、ずっとGoogle Cloudを使い続けています。 現在、仕事ではかなり大きなシステムをGoogle Cloudで扱っていますが、個人で小さなシステムを作るのも好きです。 そんな小さなシステムから大きなシステムまで作れるところも魅力に感じています。 この記事では個人でよく作っている小さなシステムに注力しています。 筆者が魅力に感じているGoogle Cloudの思想としてDatacenter as a Computerがあります。 日本語だとGo

Google Cloud Japan のメンバーが書く Advent Calendar 2023 です。去年と同じく、通常版と、今から始める方向け版の２種類の Advent Calendar を実施いたします！ 各部門の人達が是非紹介したい機能、いままで培ってきたノウハウ、知っておくと便利な Tips などを公開予定です。 記事は毎日更新されていきますが、公開予定記事のトピックのみ最初に公開いたします！ぜひ毎日チェックしていただけると嬉しいです。 この Advent Calendar は Google Cloud 製品などに関連するコミュニティが記載したテクニカル記事集です。掲載された意見はすべて著者個人のものであり、必ずしも Google のものを反映するものではありません。 通常版 12/1 DORA 2023 度版 State of DevOps Report 12/2 Export