Google App Engine(GAE)で動作しているアプリケーションがあります。 DBとしてCloud Datastoreを利用しており、開発環境を一新するにあたって、本番のデータをローカルでもそのまま使おうと思いました。 以前 https://noboru.hatenablog.jp/entry/20130212/1360679541 を書いていましたが、いろんなものがバージョンアップされていたので、最新の方法でやってみようと思います。 前提 Cloud Datastoreにデータが溜まっていること。 ローカルでは、 dev_appserver.py を利用していること。 gcloud などのツールが設定済みで、対象のプロジェクトに接続可能なこと。 データのエクスポート 公式： https://cloud.google.com/datastore/docs/export-impor

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

はじめに 2日くらい前に突然webサービスのアイデアが浮かびました。 バレンタインにも合いそうなwebサービスなので、とにかく速く製造してリリースするという目標でやってみました。 どんなwebサービス chocopoi 「ちょこぽい」というwebサービスです。 twitterで見かけた気になる人にchoco（≒いいね）をひそかに送るサービスです。 （twitter認証が必要です） ※ホントのチョコを渡すわけではありません。「いいね」を送るとお考え下さい。 バレンタインに、下駄箱を開けるとチョコが入っててドキドキみたいなのが体験できないかな？ という思いつきから作ったwebサービスです。 chocoを渡す方法は簡単！ まず送りたい相手のユーザー名や@の名前を入れて、検索してください。 送りたいユーザーがでたら選択し「chocoをあげる」ボタンを押すだけ！ これでchocopoiちょこぽいアカ

github.com このブログで言ったことない気がするけど、素数bot (@sosuubot)というTwitter botを管理している。1時間おきにカウントアップした整数が素数かどうかをつぶやくだけのbotである。 6年前に作ったきりで、Python 2.7製で、Google App Engineで動いている。 デプロイの仕方もメモされずに6年間ずっと動いていた。 55555ぐらいの整数までの素数判定が行われているので、ほんとうに6年間動いていたのだろう。最終デプロイは2014/03/24と書いてあった。 55558 は素数ではありません— 素数bot (@sosuubot) 2020年7月18日 当時はGCPの中のApp Engineではなく、GAEっていうものがあった気がする。6年前の記憶がもうない。誰か覚えていたら教えてください。 なんかGoogleアカウントを持ってたら無料で使

メモ的共有 2020年にリリースされたMackrelのGCPインテグレーション。 GAEのみを動かしているプロジェクトの監視を入れてみた。 相変わらず、分かりやすい手順書を公開していただいているので、ポチポチと設定完！ https://mackerel.io/ja/docs/entry/integrations/gcp しかし、待てども待てどもホスト追加されない。 ドキュメント記載の確認ポイントを調べても、解決せず。。。 https://mackerel.io/ja/docs/entry/integrations/gcp/appengine ネット上にもそれっぽい悩みは見つからず。。。 そこで、GCP側を調査。 APIとサービスのダッシュボードで、インテグレーション設定したタイミングから、computeのエラーが発生していた。 手順では、GAEしか使わない環境だったので、GCE、Cloud

Google App EngineでマネージドSSLが全ユーザーに無料提供、HTTPSの導入が簡単に。証明書の更新もGoogleにおまかせで心配無用 GoogleはWorld Wide WebにおけるHTTPSの利用を積極的に推進しています。 検索エンジンとしてのGoogleがWebサイトにHTTPSの利用を推奨していることはよく知られていますが、同社はそれをクラウドサービスでも推し進めようとしています。 Googleは、Google App EngineでマネージドなSSLを無料で提供すると発表しました。 HTTPSを利用するにはSSL証明書が必要となります。Google App Engineが提供するマネージドSSLでは、ユーザーによるSSL証明書の購入や更新といった手間は不要になり、手間も費用もすべてGoogleが提供してくれます。 We’ve made using HTTPS si

Cloud Run CPU 0.08 ~ 8 Core (2nd gen は最小 0.5~) Memory 128 MiB ~ 32 GiB (2nd gen は最小 512MiB~) Deploy App Engine は Deploy (gcloud app deploy) を実行すると Cloud Build が暗黙的に動いて Deploy が行われるが、これがなかなか時間がかかる。 開発環境だと CI でとりあえず main branch に merge されたら、Deploy したりするけど、Deploy を Skip してもよいような時でも CI 回してると Deploy を待つことになって、ちょっとめんどうに感じる。 更にこの仕組みは成果物は Deploy しないと生まれないので、CI と CDを分離しづらい。 Cloud Run は Container Registry a

Google App Engine (GAE) は GCP の他のサービスとの連携が豊富で非常に便利なのですが、その中でも個人的に好きな機能の一つに、Stackdriver Logging に出力されるログの見やすさがあります。 Logging from Google App EngineGAE のログは、上記画像のようにアクセスログとアプリケーションログを一箇所にグルーピングして表示してくれるので、両者のログを行ったり来たりする必要がありません。これは日々の開発や運用で非常に役に立ちます。 今回はこの GAE のようなログ表示に憧れて、他の GCP サービス(特に GKE)でも似たようなことを行えないか模索してみた結果をお話ししたいと思います。 TL;DR条件付きですが、GKE でも以下のようにログをグルーピングして表示することができました。 Logging from Google Ku

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ

Google AppEngine Standard Environment for Java8に乗せたアプリケーションで非同期処理しつつログ出力すると、 ログがリクエストに正しく紐付かずに別のリクエストのログとして出力されてしまう、という細かすぎて伝わらない問題と戦った話です。 なお言語はScalaで、Skinny Microを使用。 まとめ まず結論。 GAEでは独自のスレッドではなくThreadManager.createThreadForCurrentRequestを使いましょう。 Stackdriver Loggingでログがずれても問題なければ好きにしましょう。 前提情報について GAE SE for java8? 2017年9月にGenerally Availableになった。 Google Cloud Platform Blog: Java 8 on App Engine s

はじめに この記事は、Google App Engine Java 8 から Java11 移行対策 の続きです。 Java11からサーブレット非対応になったGoogle App Engine / Java (GAE/J)でJava8のサーブレットをGAE/J Java11 でも稼働可能なSpring Bootアプリへ置き換える具体的な方法を記述している。 Java8 サーブレットから Java11 Spring Bootへ 今回はサンプルとして、GAE/J Java8のガイドに記載されているHello World サーブレットを Spring Boot化してGAE/J Java11にデプロイしてみることにする。 前提条件 この記事は、Java8版のGAE/JのソースをJava11版に書き換えることを主眼とするため、Java 11やCloud SDKのインストールは終了しているものとする。

この記事では、Google App Engine for JavaのJava8からJava11への移行方法について考えてみる Google App Engineとは Google App Engine(GAE)は、Google謹製のPaaSサービスであり、Google Cloud Platformの中でも最古参級の古株である。 Go, Python, .NETなど様々な言語に対応しており、もちろんJavaにも対応している(GAE/J)。 GAE Java11 からサーブレットコンテナではなくなった 2019年10月にこれまでのGAE Java 8版に加えて、GAE Java11版が正式リリースされた1 だが、Java 11版のGAE/Jはこれまでのバージョンとは大きな違いがある。 Google App Engine Java 11 ドキュメント - Java 11 ランタイム環境 - フレ

ほんの些細な見た目の違いで、「UI良さげだな〜」という思い込みが崩れることがあります。 エンジニアは、最適なユーザー体験を実現するべく、その錯覚をローカル開発の時点から目指すべきです。 以前、自分でGo製のDBレプリケーションツールを作成して、この問題を解決しました。 ですが、最近AppEngineを触ってる自分からすると、果たしてどうやればデータをコピーできるのか、ましてやDatastoreともなるとMySQLとかと違ってインターフェースが違うのでは、困る！と思っていました。 しかし、AppEngineでDatastoreを使っている場合、これは非常に簡単に解消可能な問題でした。 事前準備Remote APIの有効化事前準備として、AppEngineのRemote APIというものに対して、アクセスする窓口を作る必要があります。API経由でDatastoreを叩くためです。 今回はGoの

はじめに GoogleCloudPlatform(以下GCP）でGoogleAppsEngine（以下GAE）にて カスタムURL（＝独自ドメイン）を設定しているとどうしてもぶち当たってくるのがSSL。 もちろん、Google様が実装してくれている[Let's Encrypt]を利用してもいいのだが これでは「このドメインはうちの会社の所有物じゃ！」とは証明してくれないので どうしても信頼するメディアになれない。 中間証明書を入れる場所がないので、入れてないとOGPが出てこなかったり、サーチコンソールで引っかかったり、クローラーが動かなかったりと、セキュリティに厳しい昨今では、何かとトラブルが多いのです。 ということで、今回SSLの入れ方をGUI中心に書いていきます。（できるだけ初心者レベルでわかりやすく。。。） 環境について macOS Catalina10.15.7 openssl (

概要 GCPから以下のようなメールが来ていた 要約すると「セキュリティの変更を行うけどIAMで権限を変更しないとデプロイできなくなるから2021年1月27日までに権限変更しておいてね」かと 参考までに実際対応した記録を以下に記載 件名：ご対応のお願い - AppEngineのIAMの更新が必要です Google App Engine をご利用のお客様 Google Cloud では、App Engine のセキュリティ体制の変更を行っております。 今後、App Engine アプリケーションをデプロイするデベロッパーは、 App Engine のデフォルトサービス アカウントに対する iam.serviceAccounts.actAs 権限が必要になります。 これらの変更は、2021 年 1 月 27 日から適用されます。 デベロッパーの皆様がAppEngineアプリケーションのデプロイを

こんにちは。Mackerelチーム CREの井上（id:a-know）です。 昨日、待望の Google Cloud インテグレーションがリリースされました！今日は、Google Cloud インテグレーション・AppEngine 連携をさらに便利に活用するための tips をお届けしたいと思います。 本記事の要約 Google Cloud インテグレーション・AppEngine 連携を使うと、バージョンごとにホストが登録されます 「カスタムダッシュボード」と「カスタマイズグラフ」を使うことで、複数ホスト（バージョン）にまたがるリソースの変遷を横断的に閲覧可能にすることができます それを簡単に実現するためのテンプレートもご用意しました！ぜひご利用ください！ Google Cloud インテグレーションについて 昨日リリースした Google Cloud インテグレーションですが、現在の段階