この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの

※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク

フィードバックを送信 クラスタ認証情報をローテーションする コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、Google Kubernetes Engine（GKE）クラスタで認証情報のローテーションを行う方法について説明します。 GKE での認証情報のローテーションについて クラスタルート認証局（CA）の有効期間は限られています。CA が期限切れになると、この CA によって署名された認証情報は無効になります。これには、クラスタ クライアント証明書（MasterAuth API フィールドから）、API サーバーの鍵と証明書、kubelet クライアント証明書が含まれます。詳細については、クラスタのルート CA の有効期間をご覧ください。 認証情報のローテーションを行うと、クラスタの認証情報を取り消して、新しい認証情報を発行できます。この

Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。 今回は GKE スケール戦略と Anthos Service Mesh 活用事例の Deep Dive …

一人でインフラ周りなど色々と見て毎日を過ごしているのですが、ある日「そういえば全然Billing情報確認してないぞ」となり確認してみるとえらいことが。 なんか一部のSKUで料金が爆上がりしてる！！！ サービス全体からするとそこまで大きなインパクトではない額だったのですが、それでも見過ごせない不穏な上がり方です。 10/1を契機に上がっていたので、GCPのお知らせを確認してみると・・・ cloud.google.com これや〜〜〜 GKEでContainer Registryを利用していたので、Podを生やす際にContainer Registryからイメージをダウンロードしてくるタイミングで新たにお金がかかるように😇 えらいこっちゃとすぐさまダウンロード時の料金がかからないArtifact Registryへの移行を準備しました。 Artifact Registryへの移行 まずはCD

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube

任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 世界中で愛好されている任天堂株式会社（以下、任天堂）の家庭用ゲーム機「Nintendo Switch」。そのオンライン マルチプレイを担う汎用ゲームサーバーの動作基盤に新たに Google Cloud が採用されました。多くのユーザーとの通信を処理しなければならないこの仕組みを、なぜ Google Cloud 上に構築したのか。どのような工夫を施すことで、安定性・可用性と運用負担の軽減を両立させたのか。構築に携わったエンジニアのお二人に話を伺いました。 利用しているサービス： Google Kubernetes Engine、Agones、Anthos Service Mesh、Cloud Spanner、Cloud Load Balancing、Cloud

関連キーワード SDN（Software Defined Networking） | オープンソース | Docker 第9回「『Kubernetes』を使うなら、まず知っておきたい『Flannel』と『Calico』の通信」は、「Pod」（コンテナの集合体）同士の通信を実現する仕組みとして、オープンソースのCNI（Container Networking Interface）プラグインを紹介しました。コンテナオーケストレーター「Kubernetes」はクラウドサービスで利用することも一般的になっています。今回はクラウドサービスにおけるKubernetesのネットワークの仕組みを紹介します。 併せて読みたいお薦め記事 コンテナの基礎知識 いまさら聞けない「Kubernetes」と「Rancher」の違いとは？ いまさら聞けない「OpenShift」と「Kubernetes」の基礎　どう違う

2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE

こんにちは。EC基盤グループの宮口（@smiyaguchi）と池田（@progrhyme）です。 モノタロウではKubernetesのマネージドサービスであるGoogle Kubernetes Engine（以下、GKE）を利用しています。 このKubernetesですがとても便利な反面、管理が大変で開発者がアプリケーションの開発とKubernetesの運用を同時に行うのは負荷が高くなりあまり好ましくありません。 そこでモノタロウでは開発と運用を分離できるように、社内でGKE共通環境と呼んでいるマルチテナント方式のクラスタによるアプリケーションの実行基盤を構築しました。 今回はその紹介をします。 マルチテナント・シングルテナントとは？ なぜマルチテナントのGKE環境を作ることにしたのか 全体概要 前提・環境情報 GKE共通環境の特徴 Namespace・ノードプールの分離 RBACによる権

※この投稿は米国時間 2021 年 9 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。 開発者の生産性向上やインフラストラクチャ コストの削減といった利点に後押しされ、あらゆる企業が Google Kubernetes Engine（GKE）での構築を選択しています。その中でも急成長している GKE アーキテクチャの一つが、GKE コンテナ内での、リレーショナル データベースなどのステートフル ワークロードのデプロイです。ステートフル ワークロードには、データ保護やストレージ管理の必要性など、ステートレス ワークロードより多くの要件があります。 本日 Google Cloud は、コンテナ化したアプリケーションとデータを保護、管理、復元するための簡単でクラウドネイティブな方法である Backup for GKE のプレビュー版を発表いたします。Backup

GKEのPodからTokenRequestProjectionで発行されたOIDCのID Tokenを使用してAWSのRoleにAssumeRoleしてみる この記事は GRIPHONE Advent Calendar 2021 2日目の記事です。 SREの徳田です。 GKEのTokenRequestで発行されたID Tokenって外から検証できるんだっけ・・？という疑問から色々探していたところ、OpenID Connect Discoveryまで実装されており外部からID Tokenの検証が可能だったため、これを活用して今回はAWSのRoleにAssumeRoleしてみようと思います。 TL;DR TokenRequestProjectionでTokenをマウントAWSでOIDC Identity Providerの設定とそこからAssumeRoleできるIAM Roleの作成Provi

はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山（@Ash_Kayamin）です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE（Google Kubernetes Engine）版実装であるGKE Gateway Controllerのリリースをアナウンスするものでした。 それから半年が経ち、本番導入の可能性を模索するためにKubernetes Gateway APIとGKE Gateway Controllerを調査、動作検証しました。本記事では、Kubernetes Gate

Announcing Spot Pods for GKE Autopilot—save on fault tolerant workloads We launched GKE Autopilot back in February and since then, we’ve been hard at work adding functionality to deliver a fully featured, fully managed Kubernetes platform. Today, we’re excited to introduce Spot Pods. (Not familiar with GKE Autopilot yet? Check out the Autopilot breakout session at Google Cloud Next ‘21, which give

Introducing GKE image streaming for fast application startup and autoscaling We’re excited to announce the general availability of a new feature in Google Kubernetes Engine (GKE): image streaming. This revolutionary GKE feature has the potential to drastically improve your application scale-up time, allowing you to respond to increased user demand more rapidly, and save money by provisioning less

GKE (Google Kubernetes Engine) のネットワーク周りの実装はユーザーの見えないところで変化を続けています。以前は、公式ドキュメントにあるように bridge interface (cbr0) を介してホストマシン (ノード) とコンテナ間でパケットのやりとりが行われていました。しかし、コンテナランタイムを containerd に変更すると (もしくは、コンテナランタイムが dockershim でも比較的新しい時期に作成したクラスターなら？)、見慣れないコンポーネントや使用している CNI plugin の Network Configuration Lists (a.k.a. Chainning) が変わっていることに気付きます。 本記事では、以下の条件の GKE のネットワーク周りの実装について、一部推測も交えながら見ていきます。 GKE version:

こちらの記事は先日開催された Google Cloud INSIDE Games & Apps でのセッションの内容をまとめたものになります。 アーカイブが公開されているので是非そちらもご覧ください。 こんにちは。2020 年新卒入社の海老沼といいます。現在はこれから紹介する社内ゲームサーバー基盤 Takasho を利用したゲームサーバーの開発や運用をしています。 先日、『東方ダンマクカグラ』という東方Project初の公認スマホ向けリズムゲームをリリースしました。 今回はそんな『東方ダンマクカグラ』などのゲームを支える DeNA 内製のゲームサーバー基盤 Takasho の紹介と、 Takasho を利用したゲームサーバー開発/運用でどのように Google Cloud を活用しているか紹介します。 Takasho とは Takasho とは、DeNA 内製のゲームサーバー基盤です。 開

インフラの駒崎です。 Google Kubernetes Engine (GKE) の 1.20+ で有効な kubelet graceful node shutdown と、それを活用した preemptible VM の利用について書かせていただきます。 GCP の Preemptible VM とは Preemptible VM は、いくつかの制限があるかわりに通常のインスタンスよりも安く利用できるインスタンスです。制限はいくつかありますが、最も留意すべきは 「いつでも停止される可能性があり、最長でも起動から 24 時間で停止される」点でしょうか。 ※ Preemptible VM の新バージョンとして Spot VM もアナウンスされました (2021/10/13 現在 preview) 。 Graceful node shutdown GKE 1.20 以降のバージョンでは ku