Google Cloud Japan Advent Calendar 2024 の 10 日目にリリースすることを目指していた記事です。 本日のテーマは Cloud Run で Gemma 2 を動かす方法、そして GKE を利用した場合との違いについて簡単にご紹介する記事です。GKE で Gemma 2 を動かす方法については今年のアドベント カレンダーの 3 日目の記事である Gemma2 を GKE 上でいい感じに動かしたい (推論編) に解説がありますので、よろしければそちらも併せて読んでいただけますと幸いです。 なお、本記事はあくまでも Cloud Run がメインなので推論ライブラリのパラメータなどのチューニングは扱いません。また、Cloud Run と GKE のどちらかのみをおすすめするという趣旨でもありません。言語モデルをホストする際に Cloud Run と GKE の

{"address":"/cloudsql/project-id:xxxx", "code":"ENOENT", "errno":-2, "fatal":true, "level":"error", "syscall":"connect"} const functions = require('@google-cloud/functions-framework'); const mysql = require('mysql'); const connectionName = 'リージョン接続名'; const dbUser = 'user名'; const dbPassword = 'password'; const dbName = 'dbの名前'; // Promise化したデータベース操作を作成 function queryDatabase() { return new Promis

G-gen の佐々木です。当記事では Cloud Run のマルチリージョンサービスについて解説します。 マルチリージョンサービスとは メリット サービスのレイテンシ低下 リージョン障害への耐性 各リージョンへの一括デプロイ 注意点 利用料金 構成は全リージョン一律 利用手順 マルチリージョンサービスの作成 マルチリージョンサービスの更新 ロードバランサのバックエンドにマルチリージョンサービスを設定 マルチリージョンサービスとは マルチリージョンサービスとは、一度の操作で複数リージョンに Cloud Run サービスをデプロイすることができる機能です。 Cloud Run は通常、サービスのデプロイ時に単一のリージョンを選択するリージョナルなサービスです。しかし、マルチリージョンサービス機能を用いることで、一度の操作で複数リージョンにサービスをデプロイすることができます。 参考 : Ser

はじめに 皆さん、こんにちは！ 今回は Google cloud が提供しているコンテナサーバーレスコンピューティングサービスである Cloud Run をテーマにした記事を書いてみました！！ 入門編として Cloud Run の概要についてもまとめています！ チュートリアルにトライした時の記録もありますのでぜひ最後まで読んでください！ Cloud Runとは？ Cloud Runは、Google Cloudが提供するサーバーレスコンピューティングサービスの一つです。 ※ 2024年11月で GAになってから 5周年とのことです！ コンテナをベースにしたアプリケーションを、特定のインフラ管理やスケーリングの手間なしに、簡単にデプロイ・実行できます。 AWSにも似たようなサービスとして Fargate があります。 特徴としては以下の点が挙げられます。 自動スケーリング リクエストに応じてイ

Pro Tips for Maximum Impact: Event Fundraisers that Make More Money

概要 今回は、人気の音声合成エンジン「VOICEVOX」をCloud Runで動かす方法について紹介します。特に、サイドカー構成を使用してVOICEVOXエンジンとアプリケーションを同時に稼働させる方法に焦点を当てます。 デモ（コールドスタートの影響でロードに時間がかかります）: https://cloudrun-voicevox-53ghjmkapa-an.a.run.app/ リポジトリはこちら: https://github.com/urth-inc/cloudrun_voicevox VOICEVOXとは？ VOICEVOXは、オープンソースの音声合成ソフトウェアです。高品質な音声を合成でき、様々なキャラクターボイスを提供しています。 WebAPIとして実装されている、VOICEVOXのエンジンはDockerイメージでも提供されているので、今回はこちらをCloud Runへデプロイ

G-gen の佐々木です。2024年8月22日（日本時間）、Google Cloud のサーバーレス コンピューティング サービスである Cloud Functions が Cloud Run functions としてリブランディングされました。当記事ではリブランディングによる影響や変更点を解説します。 Cloud Functions のリブランディング リブランディング Cloud Functions の世代 影響と変更点 既存の Cloud Functions 関数の動作・管理に影響なし Cloud Run の機能を使用できる 第1世代の Cloud Functions は名称変更のみ Cloud Run コンソールへの統合 Cloud Run services との差別化 Cloud Functions のリブランディング リブランディング 2024年8月22日（日本時間）、Clo

Run your AI inference applications on Cloud Run with NVIDIA GPUs Developers love Cloud Run for its simplicity, fast autoscaling, scale-to-zero capabilities, and pay-per-use pricing. Those same benefits come into play for real-time inference apps serving open gen AI models. That's why today, we’re adding support for NVIDIA L4 GPUs to Cloud Run, in preview. This opens the door to many new use cases

Join us for Gemini at WorkLearn how Gemini can help your business at our digital event Register Cloud Functions and its familiar event-driven programming model is now Cloud Run functions, complete with the fine-grained control and scalability that developers love about the serverless platform. With Cloud Run functions, we’ve created a unified serverless platform for all your workloads, so you don’

コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し

TL;DR Cloud Functions 2nd genはEventarc + Cloud RunのWrapperのように振る舞います Cloud RunでCloud Functions 2nd genと同等の振る舞いを構築します はじめに どうも、アニメマスターです。 今回は実質Cloud RunであるところのCloud Functions 2nd genについて、実際どのような構成になっているのか検証していきたいと思います。 概観 Cloud Functions 2nd genは上記の通り、Artifact Registry + Cloud Run (+ Eventarc)で構築されておりそれらのWrapperのような振る舞いをします。 EventarcはCloud Functionsと統合されていますが、オプションなので今回は触れません。 1. 実際にCloud Functions

Zennは、クラスメソッドが展開する技術者向けの知識共有プラットフォームです。Cloud Runを中心としたGoogle Cloudのソリューションをメインで使用しており、スケーラブルなWebアプリケーションとなっています。 このセッションでは、「サーバーレスとはなにか」という部分から改めてディス…

2023年は「Cloud Run を触って覚える」をテーマとした ひとりアドベントカレンダー を開催しており、Cloud Run のさまざまな機能や Cloud Run でよく使う構成などをご紹介しています。 最終日、25日目は Cloud Run を中心としたサーバーレス アーキテクチャをいくつか紹介します。2023年にちなんで23個のアーキテクチャを用意しました。 Cloud Run の概要は「gihyo.jp」で解説していますので、こちらもぜひご覧ください。 Web アプリケーション + API の 3-Tier 構成 (SPA) Web アプリケーション + API の 3-Tier 構成 (SPA) SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は N

Serverless for all your needs: Cloud Run jobs and second-generation execution environment now GA For the past 15 years, organizations have been using Google Cloud serverless products to connect the world, secure cloud banking, provide free education to anyone, revolutionize the cosmetic industry, re-architect the freight industry, redefine the retail industry, and more. And today, with the general

調査結果まとめ 日本の真ん中あたりから東京リージョンのCloudRunにアクセスしたときのTTFB（Time To First Byte）のざっくり計測結果。詳細は後述。 Cloud Runのデフォルトドメインに直接アクセスした場合: 28msくらい Cloud Runにカスタムドメインをマッピングした場合: 99msくらい さらにCloudflareからCNAMEで指した場合: 114msくらい Cloudflare WorkersでCloud Runのデフォルトドメインをプロキシした場合: 44msくらい Cloud Run + Cloud Load Balancing（CDNなし）: 31msくらい Cloud Runの東京リージョンで「カスタムドメインのマッピング」を利用するとレイテンシが発生する 2023年1月現在、Cloud Runのドキュメントの既知の問題には以下の記載があり

2022/05/11にCloud Run Jobsがプレビューでリリースされました！ Unlike services, which listen for requests, a job does not serve requests but only runs its tasks and exits when finished. 従来のCloud Runのserviceでジョブ的なことを実装する場合、ポートをリッスンしてリクエストを受け取り、ジョブを実行して、成功/失敗のレスポンスを返すという流れでした。 今回リリースされたCloud Run Jobsでは、ポートをリッスンする必要がなくなったということで、ついに待ち望んでいた機能がきたのか！？とさっそく動作確認し、僕が期待してたことは全部できそうでした🎉 これまでCloudBuildでワークフロー組んでたんですが、対応リージョン増えてC

※この投稿は米国時間 2021 年 10 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 最近まで、次の方法で Cloud Run にコードをデプロイしていました。 Dockerfile を使用してコンテナベースのアプリを定義する。 コンテナ イメージをビルドし、Container Registry に push する（通常は Cloud Build を使用）。 コンテナ イメージを Cloud Run にデプロイする。 去る 12 月に、Google は Cloud Run 用ソースベース デプロイのベータ版のリリースを発表しました。これは、上記の 2、3 の手順を、1 つのコマンドにまとめたものです。さらに重要なのは、サポートされている言語バージョンの Dockerfile も不要になることです。 これにより、ついに、複雑なコンテナ イメージの作成につ

はじめに早速ですが、皆さんはマイクロサービスを構築するとしたら、どのような構成を考えますか？ 多くの企業で、GKE を使ったマイクロサービス アーキテクチャが採用されています。選定理由として、Kubernetes が持つ機能や大きめなリソースが必要であったり、社内インフラチームによる Kubernetes のサポートがあるといった理由などがあります。一方、定期アップグレードなどの観点から、Kubernetes の運用は少し大変…と感じる方もいるかと思います。 GKE Autopilot の利用という考えもありますが、サーバーレスでコンテナを動かせる Cloud Run を使って、インフラ管理不要でマイクロサービスを構築が出来ると嬉しくないですか？ 実際、そういった構成を採用されている企業も見かけます。 この記事では、設計や実装時に考えるであろう、以下の 5 つのポイントにフォーカスしてみた