※この投稿は米国時間 2022 年 8 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 本日は、自動化とスケーラビリティに優れたマネージド Kubernetes である Google Kubernetes Engine（GKE）の一般提供開始から 7 年を迎えるにあたり、GKE を活用してお客様が素晴らしい成果を挙げた一般的な事例を 7 つ紹介します。 開発者の生産性を加速させる開発者の時間は大変貴重です。GKE では、統合された豊富なツールセットを提供し、より迅速な高頻度の出荷をサポートしています。継続的インテグレーション（CI）の手法を取ることで、開発者はすべてのコード変更をメインブランチに頻繁に統合し、プロセスのできるだけ早い段階で問題を明らかにすることで、迅速に障害を表面化できます。CI パイプラインは通常、継続的デリバリー（CD）を使用して、デプ

序文 こんにちは。MonotaROの伊藤です。 弊社では障害対応訓練の実施手法の一つであるWheel of Misfortune(略称:WoM)を実践しています。WoMの導入で、障害対応体制の強化を行うことができましたので、実施までの経緯や得られた学びなどを中心に紹介したいと思います 序文 運用担当者の負荷が高まり続ける問題 運用担当者=社歴が長いベテランエンジニア 運用のスケールアウト 障害対応訓練をやってみよう 訓練環境の準備の問題 訓練シナリオの問題 外部からの助け Wheel of Misfortuneとは 実施時の様子 シナリオ開始時の様子 モニタリング画面の表示 WoMとDiRT(Disaster in Recovery Training) 障害対応訓練をやってみた結果 準備時点で感じたメリット 手順書の不備を発見できたこと 障害が起こりかねない場所を考えるきっかけになったこと

※この投稿は米国時間 2022 年 4 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud などのパブリック クラウド上で実行されている環境で Terraform リソースをプロビジョニングしていて、そのリソースを破棄、再作成してクリーンな状態から開始する必要があるとしましょう。  Terraform には、これを実現するための 2 つのツールが備わっています。 terraform taint コマンド。Terraform 状態でオブジェクトを tainted としてマークするように Terraform に指示します。オブジェクトが tainted としてマークされている場合、Terraform はそのオブジェクトの置き換えを提案します。（このコマンドは非推奨とされています）。 terraform apply と terraform p

くら寿司：GKE や Edge TPU などを駆使して来店から会計までを完全自動化し、新しい生活様式のためのサービスを提供 大阪を起点に日本全国 47 都道府県すべてに店舗を展開する大規模回転寿司チェーンくら寿司株式会社（以下、くら寿司）。浅草や道頓堀、原宿、押上に「食」と「エンターテイメント」の融合を掲げ、「ジャパンカルチャー」の発信拠点とするグローバル旗艦店をオープンするなど、とりわけ “体験” にこだわる同社が、最新のクラウド テクノロジーをどのように活用しているのか。その取り組みと成果を、テクノロジー開発部の皆さんに伺いました。 利用しているサービス： Google Kubernetes Engine、Compute Engine、App Engine、Edge TPU 利用しているソリューション： アプリケーションのモダナイゼーション コンテナや AI など Google Clo

※この投稿は米国時間 2022 年 2 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Spanner の概要Cloud Spanner は、エンタープライズ クラスのグローバルな分散型外部整合性データベースであり、無制限のスケーラビリティと業界最高水準の 99.999% の可用性を提供します。メンテナンスの時間枠を必要とせず、使い慣れた PostgreSQL のインターフェースを提供します。リレーショナル データベースの利点と、非リレーショナル データベースの比類ないスケーラビリティと可用性を兼ね備えています。 企業が技術スタックをモダナイズし、簡素化する中で、Spanner は、新しいアプリケーションや顧客体験の構築の一環として、データベースに対する考え方や利用方法を変革するユニークな機会を提供します。 しかし、ワークロードに合わせてデータ

SRE NEXT Logo はじめに こんにちは！SRE NEXT 2022実行委員会委員長のnari です。 先日、SRE NEXT公式Twitter アカウントにてSRE NEXT 2022の5/14,15の日程でのオンライン開催が発表され、オフィシャルサイトも公開されました！ この投稿では、なぜ我々はSRE NEXT 2022を開催するのか・どんなカンファレンスにしたいかを書いていきます。*1 2022/2/7追記: スポンサー募集開始しました SRE NEXT 2022 スポンサー応募フォーム 2022/2/7追記: CFP Openしました SRE NEXT 2022 の CFP についてのご案内 - SRE NEXT Staff Blog SRE NEXTとは 信頼性に関するプラクティスに深い関心を持つエンジニアのためのカンファレンスであり、同じくコミュニティベースのSRE勉強

savanna.ioの開発をお手伝いしている masa-iwasaki です。現在進行中の案件で調査が甘いところもあるのですが、表題の件について同じく行き詰まってる or 今後行き詰まる人が居るかもしれないので自分が試行錯誤した結果を共有します。ちなみにsavanna公式ブログでは初の開発エントリのようです。 tl;dr Docker Desktop for Apple silicon では linux/amd64 なDockerイメージではGoogle Chromeが動かない QEMUのバイナリエミュレーションが完璧では無くcore dumpする arm64 Linux向けのGoogle Chromeは存在しない Chromiumを使いたいのだが 最新バージョンのChromiumを使おうとするといろいろある 回避策・解決策の検討 背景 savannaではRailsを利用して作られていて、

※この投稿は米国時間 2021 年 10 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 ポケモンを捕まえたことはありますか？Pokémon GO は何百万人もの人がプレイする人気ゲームですが、非常に優れたスケーラビリティを実現しています。このブログでは、Pokémon GO のエンジニアリング チームがどのようにこの大規模なサービスを管理し、維持しているのか、その舞台裏を紹介しています。Niantic Labs のシニア エンジニアリング マネージャーで、  Pokémon GO のサーバー インフラストラクチャ チームを率いる James Prompanya 氏に、この大人気ゲームを支える  アーキテクチャについてお話を伺いました。動画をご覧ください。 Priyanka: Pokémon GO とは？ James:  これは典型的なモバイルゲームではあ

New PostgreSQL Interface makes Cloud Spanner’s scalability and availability more open and accessible Customers in financial services, gaming, retail, and many other industries rely on Cloud Spanner today to power their most demanding relational database workloads that need to scale without downtime. At Google Cloud Next ’21 we announced a preview of the PostgreSQL interface for Cloud Spanner that

こんにちは。SRE部データ基盤チームの塩崎です。ZOZOテクノロジーズではGCPの管理を各プロジェクトのOwnerに任せていた時期が長く続いていましたが、今期から全社的なGCP管理者を立てることになりました。本記事では新米GCP管理者である僕が全社的なGCPの管理をする上で遭遇した事例を紹介します。時には泥臭い方法で、時にはプログラムの手を借りて自動化をし、数々の難題に対処しました。 GCPのリソース階層について 具体的な事例紹介の前に、GCPのリソース階層を説明します。多くのGCP利用者からは、プロジェクトが最上位のリソースであるように見えますが、実はそれ以上の階層が存在します。以下の図をご覧ください。図の通り、プロジェクトの上位リソースとしてFolder、Organizationという2つのリソースが存在します。 cloud.google.com Folderはプロジェクトの論理的なま

Haskellコミュニティでは、ネットワーク関連を担当。 4児の父であり、家庭では子供たちと、ジョギング、サッカー、スキー、釣り、クワガタ採集をして過ごす。 前回の説明では、「Initial パケット」や「Version Negotiation パケット」といった用語を未定義で使いました。今回は、こういった「パケット」や「フレーム」が、どのような構造を持っているかについて説明します。 古典的なパケット IP、UDP、およびTCPでデータをやり取りする基本単位は、すべて「ヘッダ＋ペイロード」という構造を持っています。このヘッダ＋ペイロードという単位は、それぞれ以下のように呼ぶのが慣習です。 IP – パケット UDP – データグラム TCP – セグメント すべてパケットと呼んでも間違いではありません。UDPの場合、IPペイロードが「UDPデータグラム(UDPヘッダ＋UDPペイロード)」に

※この投稿は米国時間 2021 年 6 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 ML システムを構築および運用化する成熟した MLOps 手法の確立に際しては、適切な手法が得られるまで数年の歳月を要する場合もあります。Google ではこのほど、この重要な作業の時間短縮を支援する MLOps フレームワークを公開しました。 MLOps の使用を開始する際に、これらのプロセスと機能を必ずしもすべて実装する必要はありません。ワークロードのタイプおよびそれにより生み出されるビジネス価値や、プロセスもしくは機能の構築または購入にかかるコストとのバランスによって、プロセスや機能の中で優先順位の差が生じます。 フレームワークを実用的手順に変換しようとする ML 担当者を支援するため、このブログ投稿では、お客様をサポートした経験を元に、何から始めるべきかを左右す

こんにちは。技術部の池田です。 この記事では、Github Actions上に「強い」AWSの権限を渡すために以下のことを行います。 App Runnerでお手軽にGoogle ID Token 取得するためのWeb Applicationを動かす。 Web Applicationから取得できるGoogle ID Tokenを信頼するIAM RoleにAssumeRoleする。 AssumeRoleによって得られた一時的な強い権限で、強い権限を要求する作業(Deploy, Terraform Apply)をGithub Actionsで行う。 これにより、Github Actions上にAWSのアクセスキーを置かずに、ある程度安全な方法でAWS上での強い権限を要求する操作を実行できます。 そのため、例えばGithub Repositoryに不正アクセスされてしまったとしても、AWSの本番環

Google は 2004 年に Gmail を、その 2 年後に Google ドキュメントをリリースして以来、どこからでも人々が安全につながり、コラボレーションすることを支援してきました。昨年 10 月に発表した Google Workspace は、単なる新ブランドというだけでなく、あらゆる業務の遂行に必要なすべてのものが 1 か所にまとめられた統合サービスをすべてのユーザーに提供するという Google のビジョンでもありました。 そして、本日より  Google アカウントをお持ちのすべてのユーザーは Google Workspace のより多くの機能をご利用いただけるようになります。 Google Workspace でプロジェクトや好きなことを実現するたとえば家族や友達との集まりを計画したり、PTA 活動の次のステップを決定するといった目的があるときなど、すべてのユーザーが

※この投稿は米国時間 2021 年 5 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 2021 年用に更新: この投稿には、Google のホワイトペーパー「パスワード管理のベスト プラクティス」のユーザー向けとシステム設計者向けの両方の最新情報を含む、更新されたベスト プラクティスが含まれています。 アカウント管理、認証、パスワード管理には十分な注意を払う必要があります。多くの場合、アカウント管理は開発者や製品マネージャーにとって最優先事項ではなく、盲点になりがちです。そのため、ユーザーが期待するデータ セキュリティやユーザー エクスペリエンスを提供できていないケースがよくあります。 幸い、Google Cloud には、ユーザー アカウント（ここでは、システムに対して認証を受けるすべてのユーザー、つまりお客様または内部ユーザー）の作成、安全な取り扱い、

Google では、学校の授業を通して興味を持ったプログラミングやコンピュータサイエンスを学んだ先にどういった可能性があるのかを知ることができる雑誌、 STEAM Career Magazine  を昨年発行しました。本日、第二号である STEAM Career Magazine vol.2  の PDF 版をオンラインで公開しました。Google で働く女性エンジニアや UX リサーチャーのインタビューをはじめ、プログラミングに関する情報やインタビューを掲載しています。将来のキャリアを考える上で、中高生の皆さまに参考にしてもらいたい一冊です。本日から 7 月 22 日申込締切の期間限定で、ご希望の学校に印刷版の雑誌を無料で送付します。 こちら よりお申し込みください。 Mind the Gap Mind the Gap プログラムは、女子中高生のみなさんを主な対象に、 コンピュータサイエ

※この投稿は米国時間 2021 年 5 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Run を使用すると、デベロッパーはコンテナ化されたアプリケーションの開発とデプロイを容易に行えます。このとき、Cloud Run サービスには安全性が求められます。本日は Cloud Run 環境を保護するための新しい方法をいくつかご紹介します。 Google Secret Manager からシークレットをマウントする Binary Authorization を使用して、信頼できるコンテナ イメージのみがデプロイされるようにする 独自の暗号鍵を使用する 最小権限の原則に基づいた推奨事項を取得する これらの新機能のポイントをそれぞれ詳しく見ていきましょう。 1. Google Secret Manager からシークレットをマウントするAPI キー、パス

※この投稿は米国時間 2021 年 5 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 本日の Google I/O にて、マネージド機械学習（ML）プラットフォームである Vertex AI が一般提供になることが発表されました。このプラットフォームは、企業において人工知能（AI）モデルのデプロイおよび維持を迅速に行えるようにするものです。Vertex AI は、他の競合プラットフォームに比べ、モデルのトレーニングに必要なコードの行数をおよそ 80% 少なくできるのが特長です[1]。これにより、専門知識の深浅を問わず、あらゆるレベルのデータ サイエンティストや ML エンジニアが機械学習オペレーション（MLOps）を実装し、開発ライフサイクル全体を通じて効率的に ML プロジェクトを構築、管理することが可能となります。 現在、データ サイエンティストは別

※この投稿は米国時間 2021 年 3 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud には、幅広いユースケースに対応するプロダクトが数多く揃っています。とはいえ、何から着手すればいいか、どうすればわかるのでしょうか。こうした疑問にお答えするべく、Google Cloud エコシステムが把握しやすくなるリソースセットをご用意しました。このリソースを使用すれば、さまざまなプロダクトについてすばやく理解し、特に関心のあるプロダクトを選択して、ドキュメントやその他の利用可能なリソースをさらに深く掘り下げることができます。 Google Cloud プロダクトを簡潔に説明Google Cloud デベロッパー向けのクイック リファレンスでは、各 Google Cloud プロダクトが 4 語以内（英語）で説明されています。Google Cl

こんにちは、DATA-SREチームの塩崎です。最近気になるニュースは「ネコがマタタビを好む理由が蚊を避けるためだった1」です。 さて、皆さんはデータ基盤で集計した結果をどのようにして確認していますか。LookerやPower BIなどのBIツールを使って綺麗なダッシュボードを作成している方も多いかと思います。しかし、全員が毎日確認すべき数値はSlackなどの全員が日常的に目にする場所へ掲げたいです。本記事ではBigQueryとSlackを連携させる機能をノーコードで作成する方法を紹介します。 従来手法 BigQueryで集計した結果をSlackに通知するためにはGoogle Apps Script（以下、GAS）を用いるやり方が現在では主流です。GASの文法はJavaScriptとほぼ同じであり、普段分析をメインで担当している人たちには馴染みの薄い言語です。また、Cloud Functio