App Engine を利用していると、時たま何かに引っかかったように処理が詰まることがあります。こんな時にはもちろん StackDirver Trace を使ってボトルネックを探ったりするわけです。 しかしながら時に、何の RPC を呼び出しているわけでもないのに、何故か処理の開始が遅い場合や、レスポンスを返すのが遅いということがあります。 よくありがちな理由が、リクエストが殺到して新規インスタンスがスピンアップするときに処理が遅れることです。私の周りでは良く「スピンアップに引っかかる」と言っています。しかし、具体的に何が起こっているのか、本当にスピンアップが起因しているのかは曖昧のままでした。そのため、今回、真面目に調べてみることにしました。 Request Queue を理解する App Engine がスケールする仕組みを詳しく知るには Pending Request Queue

Credit Designチームでバックエンドエンジニアをしている@iwataです。主にメルペイスマート払い関連の開発をしています。 Merpay Advent Calendar 2021 の21日目の記事をお届けします。 メルペイスマート払いの開発においてもご多分に漏れず、マイクロサービスアーキテクチャを採用しています。マイクロサービス開発において避けては通れない問題として、分散トランザクションによるデータ整合性の担保があります。メルペイスマート払いマイクロサービスでは一部APIにおいて整合性担保のために、Transactional outboxパターンを用いた実装をしています。 本記事ではテーブル設計を含めたその実装の詳細を紹介したいと思います。 tl;dr Transactional outboxパターンを使ったSpanner, Pub/Sub間での整合性担保 Spannerならでは

The data are the new goldmine of all companies, and this treasure must be kept secure and protected. That’s why, for many years, a common good practice of any database administrator is to remove all public access to the database, especially the public IP, and to grant only access from the private IP. This “golden” rule is enforced by all security teams and they requires the same pattern for any cl

Send feedback Sample MQL queries Stay organized with collections Save and categorize content based on your preferences. This document introduces Monitoring Query Language (MQL) through examples. However, it doesn't attempt to cover all aspects of the language. MQL is comprehensively documented in Monitoring Query Language reference. For information on MQL-based alerting policies, see Alerting poli

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 16日目の記事です。 tl;dr「Google アカウントを使ったログイン機能を簡単に実装したい！」 Identity-Aware Proxy を使えば、ログイン画面すら作ることなく Google アカウントによるログイン機能を実装できます。ログイン可能なユーザを制限した社内向けアプリ等にも最適です。 「Google アカウント以外のソーシャル ログインもサポートしたい！」 Identity Platform で簡単に実現することができます。Firebase Authentication と共通の SDK が提供されており、ログイン画面も FirebaseUI により簡単に作ることができます。メールアドレスによるユーザリンク機能、マルチテナント対応、SLA も

Google Cloud Platform(以降 GCP) の認証認可については GCP と OAuth2 などの記事があるが、 Compute Metadata credential そのものの解説はあまり十分にされているとは言えないので、今回一つの記事で説明する。 Compute Metadata Credentials と聞いてもピンと来ない人向けに書くと、「Cloud Run や Cloud Functions などの GCP のプロダクトから GCP の API を呼ぶのにサービスアカウントキーが必要ないこと」の裏側がどのように動いているかの話について説明する記事である。 Compute Metadata Credentials とは Compute Metadata Credentials は Google Cloud Platform(以降 GCP) の標準の credent

はじめにこんにちは、Google Cloud Customer Engineer の Yutty です。久しぶりの投稿です。今回の投稿は、kwjp@との共著です。 2019年の Advent calendar で「 GCP の IAM をおさらいしよう」という記事を書きました。未だに多くの方に読んでいただいており、IAM まわりで情報を探している方も多いのだろうと推測しています。 今回は、比較的新しい機能や、こういうときどうするの？といったプラクティスを紹介していきたいと思います。 Cloud Identity Groupsもしかしたら、このトピックは「サービスアカウント Google グループ」といったキーワードで検索された方にはピッタリかもしれません。 10 new security and management controls for GCP and G Suite でも紹介されて

Cloud Run CPU 0.08 ~ 8 Core (2nd gen は最小 0.5~) Memory 128 MiB ~ 32 GiB (2nd gen は最小 512MiB~) Deploy App Engine は Deploy (gcloud app deploy) を実行すると Cloud Build が暗黙的に動いて Deploy が行われるが、これがなかなか時間がかかる。 開発環境だと CI でとりあえず main branch に merge されたら、Deploy したりするけど、Deploy を Skip してもよいような時でも CI 回してると Deploy を待つことになって、ちょっとめんどうに感じる。 更にこの仕組みは成果物は Deploy しないと生まれないので、CI と CDを分離しづらい。 Cloud Run は Container Registry a

はじめに Cloud Runはサーバーレスなコンテナ実行基盤です。この記事ではフルマネージド版のCloud Runのみを対象とし、フルマネージド版のCloud Runを指して、単にCloud Runと表記します。 Cloud Runの料金プランの特徴として、リクエストの実行中のみ課金対象になるという点が挙げられます。しかし、リクエストのたびにコンテナの起動と終了を繰り返すわけではなく、起動したコンテナはある程度使い回されます。リクエストが無い間は、コンテナが起動していても課金されないというわけです。 課金対象の時間 (https://cloud.google.com/run/pricing?hl=ja より引用) だからと言って無料で使い放題というわけではなく、コンテナランタイムの契約として、リクエスト中しかCPUが使えないと明記されています You should only expect

結論「App Engine default service account」に roles/iam.serviceAccountTokenCreator IAM役割を付与する「Identity and Access Management (IAM) API」を有効にする公式クライアントの getSignedUrl() メソッドを使用する際は action と expires オプションを必ず指定する せっかくApp Engine Standard Environment Node.jsがリリースされたので色々いじりつつ、お試しプロダクトを作っていたところ思わぬところで躓いたので備忘録的にまとめる。 とはいえ、改善のプルリクエストも出す（予定）だし、今後は同様の問題で躓くことはないだろうけれど……。 Google App Engineで実行されるService AccountのIAMGAEや

はじめにこんにちは、TIG(Technology Innovation Group)/DXユニット 1所属の村田です。 昨今よく耳にする「クラウド」「サーバレス」といった単語に関連して、各クラウドベンダーからは日々様々なサービスがリリースされていますが、それらを素早くキャッチアップしつつ上手に活用していくというのは少々大変と思う方が多いと思います。 この記事はそういった方向けに、”素早くサービスの使い所を把握してもらう”ことや”新しいサービスをさっと試す手助けをする”ことを目的にした記事の第一弾です。そのため今までのFutureのTechBlogは業務で得た知見をまとめた記事が多めですが、本記事はもっと気軽にクラウドに慣れ親しんでもらうためのコンテンツを中心に作成していく予定です。 Cloud Runとは？Cloud RunはGCPが提供するサービスのひとつで、コンテナベースのサーバレスア

2019 年 4 月の Google Cloud Next '19 サンフランシスコで Cloud Run が発表されてから数カ月が経ち、検討フェーズから本番環境での利用も視野に入れている方に向けて、この放送では Cloud Run を使ったサーバーレス アプリケーションを開発するための実践的な Tips を解説します。また他のサーバーレス サービスとの連携や使い分けについても説明します。Read less

関西支店で新規事業開発室に所属する加藤です。私のチームでは、Google Cloud Platform (GCP) で主にGoogle App Engine (GAE) を使ってシステムを構築しています。 GAEはコマンド1つで簡単にデプロイできますが、チームの開発者が増えるにつれて、デプロイ用の設定を共有するのが大変になってきました。 デプロイにも時間がかかって、リリース作業に負荷を感じるようになりました。 そこで、GAEアプリケーションの開発フローに、Cloud BuildによるContinuous Integration (CI) / Continuous Delivery (CD) を組み込み、デプロイを自動化しました。 公式ドキュメントや各種ブログに個別の方法は記載されていますが、開発フローに組み込もうとした時にいくつか考えることがあったので、まとめておきます。 前提 Googl

TL;DRGAE 2nd-gen では X-Appengine-Inbound-Appid ヘッダの代わりに、ID Token + Identity-Aware Proxy を使った方式をサービス間認証に使えます。 はじめにGAE でマイクロサービスを構成する場合、各サービス同士を呼び合うときに同一 GAE アプリからのリクエストであるかを確認したい場面があります。シンプルな例だと、サービスがフロントエンドとバックエンドに別れていて、バックエンドはフロントエンドからしか呼び出せないようにしたい場合です。 GAE 1st-gen では X-Appengine-Inbound-Appid ヘッダという魔法のヘッダがありました。このヘッダは URLFetch を使用して別の GAE サービスにアクセスする時に、GCP が自動で呼び出し元の Project ID を入れてくれるヘッダです。そのため

はじめにGCP にはあらかじめ HTTP のエンドポイントを登録しておくと、そこに対して HTTP リクエストが送られてくるようなプロダクトがいくつか存在します。 Cloud Pub/SubCloud TasksCloud Schedulerどれも非同期系の処理を行うプロダクトであり、非同期処理を行う Worker を HTTP の Web サーバとして記述できるのが大きなメリットになっています。 しかしそれらの Web サーバはパプリックなエンドポイントとして用意することも多いことから、送られてきた HTTP リクエストが本当に GCP の特定のプロダクトから送られてきたものなのか？という「認証」をどうやるかが長らく問題になっていました。 既存のやり方としては Web サーバの実装方式によっていくつかありますが、 App Engine (1st gen) を使う場合: “login: a

BerglasはGoogleが先日公開した、GCP向けの新しいシークレット管理ツールです。 内部的にはCloud KMSとCloud Storageが使われているみたいですね。 GKE、Cloud Functions、Cloud Build、Cloud Run等から比較的簡単に、登録した秘匿情報を取得することができそうです。 セットアップ gloudコマンドの導入や、アカウントの認証などは完了している前提で進めます。 BerglasはGoのパッケージとして動作するので、まずはこちらをインストールします(Goの環境構築に関しての説明は省きます)。 go get github.com/GoogleCloudPlatform/berglas/... go install github.com/GoogleCloudPlatform/berglas