Amazon Web Services ブログ Karpenter 1.0 がローンチされました はじめに 2021 年 11 月、AWS は 新しいオープンソースの Kubernetes クラスターオートスケーリングプロジェクト「Karpenter v0.5」の発表を行いました。当初は Kubernetes の Cluster Autoscaler の柔軟で動的かつ高性能な代替手段として考案されていましたが、その後の約 3 年間で Karpenter は大幅に進化し、完全な機能を備えた Kubernetes ネイティブのノードライフサイクルマネージャーになりました。 このプロジェクトは、業界のリーダー企業によってミッションクリティカルなユースケースに採用されています。自動的に利用率を改善するように設計されたワークロード統合や、ユーザーがクラスター内で Karpenter がノードのライフ

こんにちは、ソリューションアーキテクトのごとけん (@kennygt51) です。 皆さま、Karpenter というツールをご存知でしょうか？ Karpenter は AWS によって開発された Kubernetes クラスターオートスケーラーです。Kubernetes におけるノードのオートスケールを実現するために、Amazon EKS をご利用の多くのお客様が Karpenter を活用しています。 2021 年にリリースされた Karpenter は、多くのコントリビューターの協力もあって、日々成長を遂げています。2023 年には alpha 版から beta 版への昇格が発表 され、よりユーザーにとって使いやすく進化しました。そして 2024 年 8 月、ついに Karpenter v1.0.0 がリリースされ、安定版に移行しました。 一方で、Amazon EKS を利用している

サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少

This was the biggest un-truth that I saw while working at AWS on the EKS team. On an almost weekly basis a customer would want to use AWS Fargate for a variety of reasons and one of them would be because it used Firecracker. For some reason–AWS marketing–that was better than traditional EC2 Xen virtualization. And no one at AWS would correct them. There was an unspoken policy to never point out th

こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った

As cloud adoption surges, effective cost management is paramount for Application teams. Many modern products and applications are developed on the cloud agnostic Kubernetes infrastructure. While AWS Elastic Kubernetes Service (EKS) offers powerful orchestration capabilities, dissecting costs at a granular pod level can be very challenging. Without added tools, it was/is nearly impossible to get it

NTTドコモ、全国展開する5Gの無線アクセスネットワークをAWSの「Amazon Elastic Kubernetes Service Anywhere」を用いて展開すると発表 NTTドコモとAWSは、NTTドコモが日本全国で商用展開する5Gの無線アクセスネットワーク（Open RAN）を、AWSの Amazon Elastic Kubernetes Service Anywhere（以下、Amazon EKS Anywhere）を用いて展開すると発表しました。 5Gでは、これまで通信キャリアや通信機器ベンダごとに閉じていた基地局などの無線アクセスネットワーク（Radio Access Network）の仕様を、オープンな仕様にすることで、異なるベンダの機器を組み合わせて構築できるできるようにする「Open RAN」（Open Radio Access Network）が急速に進んでいます

Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT https://findy.connpass.com/event/307447/

これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr

はじめに これは、Kubernetesアドベントカレンダー2の20日目の記事です。 これの話です。 aws.amazon.com ただし俺はもうEKS全然使ってないから意味ない件😢 なんの話？ 待ってたとは 4年前に、AWSでコンテナ使ってる人ならお馴染みのaws/containers-roadmapにこんなIssue(もとい、Feature Request)を作りました。 github.com また、これに関連するIssueとしてはその半年ほど前に作られていて github.com 自分としてはこのIssueを立てる前から技術選定の時点でずっと悩んでいたポイントだったので、かれこれ5年近く待っていたことになります。ようやくリリースされて本当によかった。まあ今はいらないんだけど、、、 どんな内容か これまでのEKSの課題点 EKSでクラスター管理者や運用者を指定する上で欠かせないのが、K

S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent 「Kubernetesで大型のファイル扱うの面倒くさい。NodeのAMIに埋め込むとかじゃだめ？」 「やりたいことはわかるけど、運用めっちゃ面倒くさいでしょ、それ」 大型のファイルを扱う場合、ストレージの料金や運用に手間がかかるため、オブジェクトストレージ（S3）に格納することはよくあるシチュエーションだと思います。 今回のアップデートで、S3のマウントポイントがCSI（Container Storage Interface）に対応し、Kubernetesの永続ボリュームとしてS3をマウントすることができるようになりました。Kubernetesでホストするアプリケーションの活用方法が大幅に広がる意欲的なアップデートとなります。 このブログでは、アップデートの

はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K

楽天グループ株式会社が運営するフリマアプリ「ラクマ」のインフラ基盤をAWS EC2 + AutoScalingGroupからKubernetes(EKS)に移行しました。このプロジェクトは約3年におよび、様々な調査や検証を行いました。 初めてKubernetesへの移行を考える企業にとって、大規模…

困っていた内容 aws-auth ConfigMap を変更したところ内容に誤りがあり、EKS クラスターへアクセスができない状態になりました。 他に許可している IAM リソースもなく、再変更もできない状態です。EKS クラスターにアクセスする方法があれば教えてください。 どう対応すればいいの? EKS クラスターを作成した IAM エンティティからアクセスしてください。 原則として EKS クラスターにアクセス可能な IAM エンティティ（IAM ユーザ、IAM ロール）は、aws-auth ConfigMap で設定します。一方で、EKS クラスターを作成した IAM エンティティは、aws-auth ConfigMap の設定不要で、system:mastersアクセス許可が付与されています。 そのため、aws-auth ConfigMap を誤って変更してしまった場合も、EKS

こんにちは、株式会社 MIXI のみてね事業部 SRE グループに所属している尾関と申します。 みてねでは2021年2月から Kubernetes を運用していて、今回はクラスターオートスケーラーの Karpenter を導入した話をさせていただきます。 結論Karpenter では要望を満たせなかったので、Managed Node Group に戻しました。 Karpenter とは？Karpenter は AWS がオープンソースとして開発しているクラスターオートスケーラーで、2021年11月にリリースされました。 Karpenter 自身が Pod のリソースリクエストを監視し、必要なノードを適切なサイズで高速に起動・停止を行うことができます。 『家族アルバム みてね』における Karpenter の導入例ここからは、みてねで Karpenter を導入した具体的なお話をさせていただ

『家族アルバム みてね』（⁠以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS

この記事ははてなエンジニアのカレンダー | Advent Calendar 2022 - Qiitaの14日目のエントリです。 背景 私のチームで運用しているEKSクラスターですが、アップグレードはBlueGreenアップグレードする方針をとっています。 B/Gアップグレードを採用している主な理由は切り替え時に問題が発生した場合に素早く切り戻しを行いたいためです。 詳細は以下のブログを参照ください。 developer.hatenastaff.com B/Gアップグレードのおおまかな流れは以下の通りです。 新バージョンのEKSクラスターを構築する ArgoCDに新クラスター用のデプロイ設定を手動で作成してアプリケーションをデプロイする Route53やAWS Global Acceleratorの設定を変更して旧クラスタから新クラスタにリクエストを切り替える 上記の2と3の工程には以下のよ