N予備校のインフラを Amazon EKS に移行した話 はじめまして。ドワンゴの教育事業で SRE エンジニアをしている西永です。 N予備校 では Kubernetes を採用しています。 これまでは Control Planes 含めすべての構成要素を自前で構築し運用していましたが、様々な問題が発生してきたことから Amazon EKS に移行をおこないました。 この記事では、Amazon EKS への移行に取り組んだ事例にについて紹介します。 なぜ移行したのか Kubernetes のバージョンが古い これまでの構成では Kubernetes のバージョンアップが考慮されておらず、Kubernetes を利用した N予備校の提供開始以降バージョンアップができていない状態でした。 そのためバージョン 1.7 を利用し続けていました。 バージョン 1.7 は 2017 年にリリースされ、

AEON TECH HUB #2 【2024年のAKSアップグレードを語る】ベストプラクティスと実践事例(https://aeon.connpass.com/event/308120/) で発表した「イオンスマートテクノロジーで実践しているAKSアップグレード戦略」の資料です。

サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少

SRE の hatajoe です。 私が所属しているチームでは、これまで数多くのサービスのインフラ基盤を Amazon EKS へ移行してきました。 その過程で多くの乗り越えなければいけない課題に直面して来ましたが、今回は Kubernetes クラスタで安全に CronJob を扱うための Tips を紹介したいと思います。 CronJob CronJob とは、定義したスケジュールに応じて Kubernetes クラスタで実行されるジョブリソースです。 Kubernetes のジョブリソースには Job と CronJob の２種類がありますが、今回は CronJob の話になります。 CronJob は定義したスケジュールに応じて Pod を生成します。そして、ジョブの実際の処理は Pod 内のコンテナで実行されます。 課題背景 ところで、Kubernetes クラスタで稼働中の P

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Pods は Kubernetes の中でもっとも重要なリソースです。複数のコンテナとボリュームの組み合わせで Kubernetes におけるスケールの最小単位であり、アプリケーションコンテナは必ず Pods としてデプロイされます。 ここでは Pods の終了の流れについて詳しく扱います。Deployments の更新などで新しいバージョンのアプリケーションをデプロイするとき、既存の Pods は終了されます。このとき正しく Pods の終了処理を準備できていないと、ユーザのリクエストが正しく処理されずエラーが出力されている

概要 KubernetesのPodを安全に終了する際に気をつけるべき事前知識と設定方法について説明します。 あらかじめまとめると 新規リクエストのルーティングがなくなるまでpreStopでPodのアプリケーションコンテナの終了開始を待たせる 既存リクエストが全て処理されるまでアプリケーション側でGraceful Shutdownをする SIGKILLで強制終了されないように1, 2が完了するまでterminationGracePeriodSecondsを長くする の３つを実施することになります。 環境 Kubernetes v1.21.14 前提知識 Podが終了すると何がトリガーされるか Podが終了するとまずdeletionTimestampがPodリソースに設定され、Terminating状態になります。 そしてその次に以下の３つの処理がそれぞれ独立（並行）して実施されます。 Pod

Azure Key Vault の値を AKS (Azure Kubernetes Service) 上の Secret として設定する（ Managed Identity を利用）AzurekubernetesKeyVaultAKSManagedIdentity イメージとしては上のような感じです。（イメージなので厳密にはちがうかもしれません。。。） Kubernetes を利用した CIOps や GitOps 等をいざ実践しようと思うと、証明書やアクセスキーやパスワードといった秘匿情報である Secret の管理をどうすればよいのか課題となってくると思います。 通常 Kubernetes の Secret を YAML ファイル等で定義する場合、秘匿情報部分については、暗号化ではなく、Base64 エンコードによる難読化のみのため、コードの管理については、何かしらの対策が必要となりま

本記事はFIXER Advent Calendar 2020 15日目の記事です。 k8sお勉強中の冨本です。半年間毎日k8sと睨めっこして、kubectlでの操作にも多少慣れてきました。しかし流石に毎日となるとグラフィカルで操作性の良いツールとか無いかなぁと思ってしまったりするものです。そこで調べていたらk8sのIDEなるものが。Lensと言うそうです。本記事ではLensとは何か、Lensを使って便利だったところ、Lensにk8sクラスターを登録するまでを紹介します。 Lensとは Lensとはオープンソースかつ無料のk8sのIDEです。Electronベースのアプリケーションで、Windows、macOS、Linuxをサポートしています。結構人気みたいで、Githubのスター数は11000件を超えています。IDEの見た目はこんなかんじ↓ Lensを使って便利だったこと クラスターの切り

Azure Kubernetes Service (AKS) は、クラスターをすばやくデプロイおよび管理することができる、マネージド Kubernetes サービスです。 この記事では、Azure CLI を使用して Windows Server コンテナーを実行する AKS クラスターをデプロイします。 また、Windows Server コンテナー内の ASP.NET サンプル アプリケーションをクラスターにデプロイします。 開始する前に このクイックスタートは、Kubernetes の基本的な概念を理解していることを前提としています。 詳細については、「Azure Kubernetes Services (AKS) における Kubernetes の中心概念」を参照してください。 Azure サブスクリプションをお持ちでない場合は、開始する前に Azure 無料アカウントを作成してく

まずはアプリケーションを更新して v2 を作成し、ACR にプッシュします。 1. azure-vote 内の config_file.cfg の内容を変更。ここではタイトルを変更。 # UI Configurations TITLE = 'Azure Voting App v2' VOTE1VALUE = 'Cats' VOTE2VALUE = 'Dogs' SHOWHOST = 'false'

今回はチュートリアル:Azure Kubernetes Service (AKS) でのアプリケーションのスケーリングの深堀をしていきます。 このチュートリアルでは手動および自動でのスケールを行っています。それぞれの手順で何が起きているか見ていきます。 ポッドの手動でのスケール まずはポッド数を明示的に指定した手動でのスケールです。 チュートリアルの手順 1. 現在のポッドを確認。 > kubectl get pods NAME READY STATUS RESTARTS AGE azure-vote-back-847fc9bcb9-p7m9x 1/1 Running 0 6h45m azure-vote-front-c857778b-ttlx2 1/1 Running 0 6h45m

今回はチュートリアル:Azure Kubernetes Service (AKS) でのアプリケーションの実行の深堀をしていきます。 このチュートリアルでは作成した AKS クラスタに ACR よりアプリケーションを展開して実行します。 このチュートリアルではマニフェストを適用する事しか説明していませんが、この記事ではその結果どのようなリソースが作成されるか k8s の観点からも詳しく見ていきます。 デプロイマニフェストの確認と変更 AKS に対する展開はマニフェストを k8s 渡すことで実行します。今回利用するマニフェストはサンプルの azure-vote-all-in-one-redis.yaml です。 このマニフェストは「---」で仕切られた 4 つのセクションから構成されています。 1 つ目のセクション このセクションはアプリのバックエンドである Redis の展開です。 api

今回はチュートリアル:Azure Kubernetes Service (AKS) クラスターのデプロイの深堀をしていきます。 このチュートリアルでようやく AKS を作成します。また深堀では作成したクラスタの詳細を見ることで k8s の操作についても触れていきます。 kubectl kubectl は k8s を操作する CLI ツールであり、今後のチュートリアルのメインとなるツールです。 Azure AD サービスプリンシパル AKS クラスターが他の Azure リソースと対話できるようにするために、Azure AD (Active Directory) のサービスプリンシパル作成して使用します。サービスプリンシパルはアプリケーション専用のユーザーアカウントのようなもので、各種権限の設定が柔軟に行えます。 前回作成した ACR に対するアクセスについてもサービスプリンシパルを使ってい

今回はチュートリアル:Azure Container Registry をデプロイして使用するの深堀をしていきます。 このチュートリアルでは、前回ダウンロードしたアプリケーションのイメージを作成して、レジストリに登録するところまでをやっています。 イメージとコンテナ OS などの実行環境と実行するアプリケーションを含んだものをとイメージと呼び、インスタンス化されてコンテナランタイムで実行されているものをコンテナと呼びます。コンテナというキーワードは技術全体をさす場合もあるため状況に応じて理解しましょう。 タグ イメージのバージョニングはタグで行います。タグは以下のようにイメージの後につきます。 azure-vote-front:v1 azure-vote-front:v2 azure-vote-front:latest タグを省略した場合、latest タグが自動的に付与され、最新のイメー

詳細の確認 今回は、今後作成する AKS に展開するためのアプリケーションをまずローカルにダウンロードして動かしてみるところまでの手順となっています。早速詳細を見ていきましょう。 アプリケーションの中身 ダウンロードした投票アプリは、Web フロントエンドとなる Python アプリとバックエンドとなる Redis で構成されています。 docker-compose 複数のコンテナからなるアプリケーションのビルドや実行に docker-compose が使えます。手順 2 で指定しているファイルの中身を見てみましょう。 services: 起動するコンテナ。ここでは 2 つのイメージを指定。 azure-vote-back: image として redis を指定しポート 6379 (Redis の既定) を開放。 azure-vote-front: build で azure-vote

AKS を始める場合、公式ドキュメントの以下の情報が役に立ちます。 クイック スタート: クラスターの作成からアプリのデプロイまで 1 ページにまとめたもの チュートリアル: クイックスタートの中身をより詳細にまとめたもの どちらもまず試すには非常に重宝するものの、Kubernetes やコンテナ技術などある程度の知識がないと何を実行したのか理解できないまま終わる可能性があります。そこでチュートリアルを深堀することで、以下の達成を目指します。 Kubernetes (k8s) と AKS の概要 基本的な k8s コマンドの理解と習得 コンテナと関連技術の概要の理解 サンプルアプリケーションの理解 前提条件 Azure サブスクリプション (無料体験版もあります) Visual Studio または Visual Studio Code などの IDE Docker git ※尚、この記事

Microsoft のマネージド Kubernetes である Azure Kubernetes Service (AKS) を使いこなすための情報をまとめます。基本的には AKS 公式ドキュメント の情報に対して、より詳細な情報を自分なりに付加しながらまとめる予定です。 本目次は色々記事を書いた後にまとめる予定です。 AKS チュートリアルの深堀 このセクションでは公式ドキュメントで紹介されているチュートリアルについて、付加情報をつけながら深堀します。 Kubernetes と AKS 概要 アプリケーションの準備 コンテナレジストリを作成する AKS クラスターのデプロイ アプリケーションの実行 アプリケーションのスケーリング アプリケーションの更新 SQL Server 2017 を AKS で使う このセクションでは AKS に SQL Server コンテナーを配置する に付加情

追記: Kubernetes側での公式のアナウンスが2本出ているのでこちらも合わせてご覧ください。 kubernetes.io kubernetes.io Kubernetesコミュニティを眺めていたら、やたらめったら色んな人達が1.20 RCのリリースノート引っ張り出して「Dockerが非推奨になるからちゃんと対策を検討してね！！！」とアナウンスをしていて、挙げ句SIG Contributexではその対策に追われてバタバタしている自体を観測しました。 CNCF Ambassador Slackでもだいぶ燃え上がっていて、見かねて dev.to に記事を投稿したのでそれをかんたんに日本語にまとめてみようと思います。英語のほうはこちらをご覧ください。 dev.to 追記2. 影響範囲を知りたい場合はまずこちらをお読みください blog.inductor.me 追記2. 影響範囲を知りたい場合