Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。 なのにみ〜んな Cloud Run に行ってしまう。なぜなのか?? 確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine は GCP 最初期からあるサービスで今年で 14 年目になるらしい。 当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃は Google App Engine 単体で出ていて、他のサービスが続いて Google Cloud Platform になったような気がする1。 そんな歴史あるサ

背景 やったこと1. 廃止 やったこと2. GCPに移行 ユースケース図 URLベースで見たユースケース図 実行環境で見たユースケース図 実際にGCPに移行したアプリ達 Cloud Run Cloud Functions AppEngine GCP移行した全てに共通してること やったこと3. CircleCIに移行 付録A. 道のり 付録B. 調査メモ（移行時に参考にしたドキュメントやサービスなど） 無料プラットフォームがまとまってるドキュメント ElephantSQL (PostgreSQL) PlanetScale (MySQL) Redis Enterprise Cloud 付録C. Redisを雑にFirestoreに置き換えたらクラウド破産しかけた 2022/09/22 20:45ブコメレス 背景 Herokuの無料プラン終了のため10個以上あった個人アプリを1ヶ月くらいかけて色

こんにちは。Google Cloud Japan でカスタマーエンジニア（プリセールスエンジニア）をしている有賀です。 クラウドサービス利用のご相談に乗っていると、ときどき(しばしば？)、ウェブコンソール(クラウドサービスを設定するためのウェブページ。Google Cloud では Cloud Console と呼びます。)や、API へのアクセスをアクセス元の IP アドレスで制限したい、というご要望を受けることがあります。 インターネットでサービスを公開する際のアクセス制限として、ID とパスワードだけでは不安（パスワードが漏れたらアクセスされ放題に！）だから、追加でアクセス元の IP アドレスで制限する、というのはそこそこ一般的におこなわれていたかと思います。（ゼロトラストのアプローチもあると思いますが、それはまたの機会に。:-) こういった機能をオンプレミスで提供する場合は、ファイ

Cloud Runで Nginx > GCSプロキシ したかったので以下を参考に実装してみた。 すると、ローカルではうまくいくのにCloud Runにデプロイすると無応答になりプロキシ出来ない。 少し調べると、GCP上ではどうやらDNSをGoogleの内部DNSを設定する必要があるようだ。 Nginxのresolverの設定を 169.254.169.254 に更新するとうまくプロキシ出来た 🎉 以下公式ドキュメント

※この投稿は米国時間 2022 年 6 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Spanner は、業界トップクラスの 99.999% の可用性と、ほぼ無制限のスケーリングを提供し、最も要求の厳しいワークロードにも対応できるリレーショナル データベース サービスです。そのため、さまざまの業界のユーザーが、大きなスループットを必要とするワークロードに対する Spanner の性能を信頼しています。ユーザーからは、Spanner が提供する管理機能、スケール保証、一貫したパフォーマンスを高く評価し、大小さまざまなワークロードを Spanner で標準化したいという声が寄せられています。 そのようなご要望にお応えし、昨年、月額およそ $65 から Spanner でワークロードを実行できる、インスタンスのきめ細かなサイズ設定のプレビュー版をリリ

こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々の難題に対処しました。 GCPのリソース階層について 具体的な事例紹介の前に、GCPのリソース階層を説明します。多くのGCP利用者からは、プロジェクトが最上位のリソースであるように見えますが、実はそれ以上の階層が存在します。以下の図をご覧ください。図の通り、プロジェクトの上位リソースとしてFolder、Organizationという2つのリソースが存在します。 cloud.google.com Folderはプロジェクトの論理的なま

Zennは、Next.js + Ruby on Rails（APIモード）を Google Cloud の App Engine へデプロイして稼働していました。最近、Rails の実行環境を App Engine Flexible から Cloud Run へ移行したので、その記録を残します。 ロードバランサーのバックエンドサービスを付け替えることで実現 最初に、どうやって移行したかです。Zennのバックエンドはもともとロードバランサーで構成されていました。以下の図のように、ロードバランサーの Backend Service より背後を切り替えることにより実現しています。Cloud Run とそこにアクセスするための Serverless NEG はあらかじめ稼働させておくことで、ダウンタイムなしで切り替えられました。 参考：負荷分散 | Google Cloud https://clo

Every application has to store and access operational data, usually in a database. Managed database services can help you ship apps faster and reduce operational toil so you can focus on what makes your business successful and unique. To quote analyst firm Gartner, “Cloud-based deployment models and dbPaaS offerings are growing rapidly as an alternative, more flexible, delivery method1,” and our c

Google Cloud Platform（GCP）でアプリケーションを開発しようとすると、おそらく多くの時間を GCP のコマンドラインに費やすことになるでしょう。そうしたコマンドやフラグの数は、GCP サービスが充実するにつれて急速に増えています。そこで私たちは、コマンドを効率的に見つけて使用できるようにする新しいコマンドライン インターフェース（CLI）、gcloud interactive shell（gcloud 対話型シェル）を導入しました。 以下は、Google Cloud SDK に用意されている、GCP サービスと連携するコマンドライン ツールです。 gcloud : GCP のプライマリ CLI gsutil : Google Cloud Storage を操作するための CLI bq : Google BigQuery を操作するための CLI kubectl : K

こんにちは。グリフォンでインフラエンジニアをしている徳田です。 日々運用しているインフラの改善や新規ゲームのインフラ設計などを行っているのですが、先日、グリフォンで4年運用しているブラウザゲーム「不良遊戯　シャッフル・ザ・カード」(以下、不良遊戯)のインフラをGoogle Cloud Platform(以下、GCP)へ移設しました。今回は、その時の経緯や設計、行った作業やTipsについてご紹介します。 経緯 大まかな経緯として、 インフラコストの削減 パフォーマンスの向上 インフラ環境の整備 技術的な挑戦 がありました。しかし、事の発端は私がGCPを使いたい・試してみたいというなんとも自分勝手な提案だったのですが（笑）。 「インフラコストの削減」と「パフォーマンスの向上」については、不良遊戯をリリースしたのが2014年の5月で3年経っており、リリース時に比べVMのコア単価が安く、CPU性能

dbt-coreで実現するCore DataMartsのデータモデリング〜dbt編〜 / Core DataMarts Modeling with dbt-core

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 Googleは、同社が開発したTCPの輻輳制御アルゴリズム「TCP BBR」をGoogle Cloud Platformで利用可能にしたと発表しました。 インターネットにおける通信にはTCPを用いる場合とUDPを用いる場合に分かれますが、BBRはTCPにおける輻輳制御アルゴリズムを改善したもの。すでにGoogleはTCP BBRをYouTubeのネットワークで利用しており、従来のパケットロスをベースにした輻輳制御アルゴリズムであるCUBICを用いた場合と比較して、スループットが平均で4％、最大で14％以上改善したことを明らかにしています。 TCP BBRは現在の高速なネットワークに適した輻輳制御アルゴリズム TCP BBRのBBRは「Bottleneck Ba

AWSとGCPのマルチクラウドインフラにおけるVPN設計のポイントを説明します。 マルチクラウドインフラ連載の第二回。

［速報］Google Cloud「東京GCPリージョン」がついに今日から正式運用を開始。日米間を毎秒60テラビットでつなぐ最新の海底ケーブルと接続

https://flic.kr/p/os8Taq 要約：AWSは素晴らしいが、Googleはその グーゴル 倍素晴らしい。 AWS re:Invent （参加料は1,600ドル）に参加したり、チーフ･エバンジェリストの Jeff Barr をフォローしたりすれば、あなたはたちまち、Amazon Web Servicesのとりこになるでしょう。 毎年何百もの新機能が登場しており、食べ放題・融通が利く・運用担当者不要の、オンデマンドサービスのビュッフェのようです。まあ、実際に食べてみるまでは、の話ですが…。 Amazonは素晴らしいです。しかし、Google Cloudは「開発者によって、開発者のために構築された」ものであり、それが一目で分かるのです。 移行した理由 App Engine GAE はきちんと機能し、オートスケーリング機能も持ち、ロードバランサや無料のmemcacheも備えていま

今回はGCP上にElasticsearchクラスタを組もうとしてはまった話をします。ちゃんとドキュメント読めと言われればそこまでなんだけど、ミドルウェアが間に入ってて気づくのに遅れてしまった…。 TL;DR GCEのファイヤーウォールはinactiveコネクションを10分で切断するので、Elasticsearchのクラスタを構築する場合はnet.ipv4.tcp_keepalive_timeの設定を変える必要があるよ。 安定しないクラスタ 事の発端はGCEインスタンスで構築していたElasticsearchのクラスタが、一定間隔でノード間の疎通に失敗して切断・再接続を繰り返していました。 OS: CentOS 7.2 Elasticsearch: 2.3.1 [INFO ][discovery.gce ] [elasticsearch-1] master_left [{elasticsea

(注意：本エントリは2016年4月時点のものです。このあと、様々な改良がGCP・k8sに入り、このエントリの内容はほぼほぼ意味がなくなりました。あくまで歴史的な記録として参照してください） うおー、初めてのGCPUGだー！話すぜ−！と勢い込んでいたら家庭内パンデミックに巻き込まれ（次男→妻→自分）当日に38℃超の熱をマークしてしまったので泣く泣く登壇をキャンセルしました。 その代わりと言ってはなんですが、ブログで話す予定だったことを逐一全て書こうと思います。エンベッドできるスライドは以下に、その下には僕が話す予定だったことを可能な限り全て書いたスライドごとの解説があります。 Enjoy!

Amazonクラウド上での、イベントドリブンかつ非同期なJavaScriptの実行環境として「AWS Lambda」が発表されたのは、2014年11月に行われたイベント「AWS re:Invent 2014」においてでした。 AWS Lambdaはマネージドサービスとして提供されるため、利用者はサーバのスケーラビリティや運用管理などを気にする必要がなく、何らかのトリガーに基づく処理をクラウドで容易に実行するシステムを構築できるようになりました。 AWS Labmdaの登場は、「サーバレスアーキテクチャ」と呼ばれる、サーバの保有や運用を考える必要のない新しいクラウド活用のトレンドを生み出そうとしています。 Google Cloud Functionsの登場 そのAWS Lambdaに対抗するような新機能がGoogle Cloud Platfromに追加されたことが明らかになりました。「Goo

1. AWS と GCP を使用したインフラ環境 Katsutoshi NAGAOKA Server-side Software Engineer Takusuta Tech Conference #1 2. 永岡 克利 (Katsutoshi NAGAOKA) • 酒好き Software Engineer • CyberAgent: 社内向け基盤システム開発 (2011-2014) 画像変換 API, 掲示板 API, NoSQL database service の開発 #Java #C++ #ImageMagick #MySQL #kumofs #Cassandra • 株式会社タクスタに JOIN (2015-) サーバサイドの開発（こっちがメイン）とインフラ全般を担当 #Golang #Python #Node.js #MongoDB #Redis #AWS #GCP @na_

9/10 18:24 ISUCON練習代を7割安にする方法 追加 9/1 16:48 Q&A追記 はじめに リンク集 GCPのサインアップ Googleアカウントの確認 GCPのサインアップ ISUCONプロジェクトの作成 プロジェクトメンバーの追加 ISUCON運営メンバーの追加 ISUCON参加用GCPクーポンの登録 クレジット利用状況の確認 GCEインスタンスの作成 ISUCON予選用GCEイメージの登録 GCEインスタンスの作成 GCEインスタンスへのSSH接続 各種のTips Google Cloud SDKのインストール gcloud compute コマンドライン例の調べ方 「割り当て」に注意 ISUCON練習代を7割安にする方法 Q&A はじめにこのドキュメントでは、ISUCON予選参加に必要となるGoogle Cloud Platform (GCP)の仮想サーバー、Goo