トップ > Amazon EKS Auto Mode を試してみました

Amazon EKS Auto Mode を試してみました

記事タイトルとURLをコピーする

2024年12月1日、 Amazon Elastic Kubernetes Service (Amazon EKS) の Auto Mode が発表されました。

これは、Kubernetes クラスターのコンピューティング、ストレージ、およびネットワーキングの管理を完全に自動化する新機能で、いくつかの特徴があります。

今回は、その中で、

* 効率性 * アプリケーション可用性 * アップグレード

について、実際に動作を確認してみました。

EKS Auto Mode の特徴

Kubernetes クラスター管理の合理化:

  • EKS 自動モードは、運用オーバーヘッドを最小限に抑えながら本番環境対応のクラスターを提供することで、EKS 管理を合理化します。
  • EKS 自動モードを使用すると、EKS に関する深い専門知識を必要とせずに、要求の厳しい動的なワークロードを自信を持って実行できます。

効率性:

  • EKS 自動モードは、NodePool とワークロード要件によって定義された柔軟性を遵守しながらコストを計算するように設計されています。
  • また、未使用のインスタンスを終了し、ワークロードを他のワーカーノードに統合して、コスト効率を向上させます。

アプリケーションの可用性:

  • EKS 自動モードでは、Kubernetes アプリケーションの需要に基づいて EKS クラスター内のワーカーノードが動的に追加または削除されます。
  • これにより、手動での容量計画の必要性が最小限に抑えられ、アプリケーションの可用性が確保されます。

セキュリティ:

  • EKS 自動モードでは、ワーカーノードに対して不変として扱われる AMI を使用します。
  • これらの AMI は、ロックダウンされたソフトウェアを強制し、SELinux の強制アクセス制御を有効にし、読み取り専用のルートファイルシステムを提供します。
  • さらに、EKS 自動モードで起動されたワーカーノードの最大有効期間は 21 日間 (短縮可能) で、その後は自動的に新しいワーカーノードに置き換えられます。
  • このアプローチは、多くのお客様がすでに採用しているベストプラクティスに沿って、定期的にワーカーノードを循環させることでセキュリティ体制を強化します。

自動アップグレード:

  • EKS 自動モードでは、構成されたポッド中断予算 (PDB) とワーカーノードプール中断予算 (NDB) を尊重しながら、Kubernetes クラスター、ワーカーノード、および関連コンポーネントを最新のパッチで最新の状態に保ちます。
  • 最大 21 日間の有効期間では、PDB をブロックしたり、その他の構成によって更新が妨げられたりする場合は、介入が必要になることがあります。

管理対象コンポーネント:

  • EKS 自動モードには、Kubernetes と AWS クラウド機能がコアコンポーネントとして含まれており、通常はアドオンとして管理する必要があります。
  • これには、ポッド IP アドレスの割り当て、ポッド ネットワーク ポリシー、ローカル DNS サービス、GPU プラグイン、ヘルス チェッカー、EBS CSI ストレージの組み込みサポートが含まれます。

カスタマイズ可能な NodePool と NodeClass :

  • ワークロードでストレージ、コンピューティング、またはネットワーク構成の変更が必要な場合は、EKS 自動モードを使用してカスタム NodePool と NodeClass を作成できます。
  • デフォルトの NodePool と NodeClass は編集できませんが、特定の要件を満たすために、デフォルトの構成とともに新しいカスタム NodePool または NodeClass を追加できます。

動作確認の結果

効率性について

  • クラスタ作成直後、最初のアプリ（Pod)起動時にはじめてワーカノードが確保されます。
  • その後、Podを削除し「未使用のインスタンスが終了」することが確認できました。

アプリケーション可用性について

  • ポッド水平スケール型アプリの負荷増に伴い、必要に応じてワーカノードが追加されることを確認しました。
  • 上記の「効率性」と合わせて、アプリケーション需要に応じて、必要なリソースが確保されることを確認できました。

アップグレードについて

  • コンソール画面よりアップデートをクリックすることで、マスターノードからワーカノードまで自動でアップグレードされることを確認できました。
  • この時、PDBで指定したアプリの可用性を維持した状態で、新たにアップグレード後のワーカノードでPodが再起動され、再起動が完了した後、アップグレード前のワーカノードが削除されることが確認できました。

[追加]Kubernetes クラスター管理の合理化

  • 以上より、クラスタ管理の合理化という点で進化を伺わせる結果となりました。

（再掲）

  • EKS 自動モードは、運用オーバーヘッドを最小限に抑えながら本番環境対応のクラスターを提供することで、EKS 管理を合理化します。
  • EKS 自動モードを使用すると、EKS に関する深い専門知識を必要とせずに、要求の厳しい動的なワークロードを自信を持って実行できます。

動作確認の内容

クラスターの作成

  • 作成にはマネジメントコンソールを利用しました。詳細手順は割愛します。詳細を知りたい方は公式ドキュメントを参照願います。

  • 作成したクラスタの環境を構成します

[cloudshell-user@ip-10-134-24-146 ~]$ aws eks update-kubeconfig --name "${CLUSTER_NAME}"
Added new context arn:aws:eks:ap-northeast-1:account-id:cluster/interesting-funk-otter to /home/cloudshell-user/.kube/config

効率性の確認

  • クラスター作成直後のリソース状態を確認してみます。
  • 従来（通常）参照できた kube-system ネームスペース内のリソースやワーカーノードは確認できません。
[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get po -A
No resources found

[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get po -n kube-system
No resources found in kube-system namespace.
[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get node
No resources found
  • この状態で、NGINXのPodを作成してみます。
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl run nginx --image=nginx
pod/nginx created
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS    RESTARTS   AGE
nginx   0/1     Pending   0          10s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS    RESTARTS   AGE
nginx   0/1     Pending   0          14s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS    RESTARTS   AGE
nginx   0/1     Pending   0          17s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS    RESTARTS   AGE
nginx   0/1     Pending   0          20s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE   VERSION
i-11111111111111111   Ready    <none>   5s    v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS              RESTARTS   AGE
nginx   0/1     ContainerCreating   0          34s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS              RESTARTS   AGE
nginx   0/1     ContainerCreating   0          38s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS              RESTARTS   AGE
nginx   0/1     ContainerCreating   0          45s
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          52s

  • Pod起動直後、PodはPending 状態で、その後ワーカーノードが確保された段階で、ContaineCreateting となり、52秒後には Running となります。

  • Podが起動されて、はじめて i-11111111111111111 ワーカーノードが作成されました。需要に応じてリソースが確保されています。

  • Podを削除すると、しばらくしてワーカーノードも削除されます。

[cloudshell-user@ip-10-132-90-84 ~]$ kubectl delete po nginx
pod "nginx" deleted
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get po
No resources found in default namespace.
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE   VERSION
i-11111111111111111   Ready    <none>   8m    v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE    VERSION
i-11111111111111111      Ready    <none>   8m4s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE    VERSION
i-11111111111111111   Ready    <none>   8m8s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE     VERSION
i-11111111111111111   Ready    <none>   8m11s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE     VERSION
i-11111111111111111   Ready    <none>   8m18s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE     VERSION
i-11111111111111111   Ready    <none>   8m30s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE     VERSION
i-11111111111111111   Ready    <none>   8m46s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS   ROLES    AGE     VERSION
i-11111111111111111   Ready    <none>   8m59s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS     ROLES    AGE     VERSION
i-11111111111111111   NotReady   <none>   9m10s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
NAME                  STATUS     ROLES    AGE     VERSION
i-11111111111111111   NotReady   <none>   9m21s   v1.31.1-eks-1b3e656
[cloudshell-user@ip-10-132-90-84 ~]$ kubectl get node
No resources found
  • 「未使用のインスタンスを終了」することが確認できました。
  • なるほど、需要に合わせてリソースを確保することでコスト効率を向上させているとは、このことでしょうか。

アプリケーション可用性の確認

  • 続いて、Auto Scale の動作を見ていきます。

  • テスト用に php-apache デプロイメントと同じ名前のサービスを作成します。

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: php-apache
spec:
  selector:
    matchLabels:
      run: php-apache
  replicas: 1
  template:
    metadata:
      labels:
        run: php-apache
    spec:
      containers:
      - name: php-apache
        image: k8s.gcr.io/hpa-example
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: 500m
          requests:
            cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
  name: php-apache
  labels:
    run: php-apache
spec:
  ports:
  - port: 80
  selector:
    run: php-apache
EOF
  • php-apache デプロイメントに対して Horizontal Pod Auto Scaler (HPA) を作成します。（CPU使用率50%を超えると自動でスケール）
[cloudshell-user@ip-10-134-24-146 sample]$ kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
horizontalpodautoscaler.autoscaling/php-apache autoscaled
  • 負荷生成用の load-generator デプロイメント を作成します。作成直後から負荷テストが実行されます。初期のレプリカ数は５．
cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: load-generator
spec:
  replicas: 5
  selector:
    matchLabels:
      app: load-generator
  template:
    metadata:
      labels:
        app: load-generator
    spec:
      containers:
      - name: load-generator
        image: alpine
        command: ["/bin/sh", "-c"]
        args:
        - "apk add --no-cache curl && while true; do curl -s http://php-apache > /dev/null; done"
EOF
  • より負荷を上げるために load-generator のレプリカ数を５０に拡大して実行します。
[cloudshell-user@ip-10-134-24-146 ~]$ kubectl scale deploy load-generator --replicas=50
deployment.apps/load-generator scaled
  • ワーカーノードの状態を確認します。
[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get node

NAME                  STATUS   ROLES    AGE   VERSION
i-22222222222222222   Ready    <none>   10m   v1.30.5-eks-baa6d11

[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get node

NAME                  STATUS   ROLES    AGE   VERSION
i-22222222222222222   Ready    <none>   10m   v1.30.5-eks-baa6d11

[cloudshell-user@ip-10-134-24-146 ~]$ kubectl get node

NAME                  STATUS   ROLES    AGE   VERSION
i-33333333333333333   Ready    <none>   30s   v1.30.5-eks-baa6d11
i-22222222222222222   Ready    <none>   11m   v1.30.5-eks-baa6d11
  • テスト開始直後は、i-22222222222222222 ワーカーノード１台でしたが、レプリカ数の拡大で負荷が増加し２台目のワーカーノード i-33333333333333333 が作成されました。
  • アプリケーションの需要に基づいて EKS クラスター内のワーカーノードが動的に追加されることを確認できました。
  • これも、需要に合わせてリソースを確保することでコスト効率を向上させているポイントですね。

アップグレードの動作確認

  • 最後にアップグレードの動作を確認します。

  • アップグレードインサイトを確認します。

    アップグレードインサイト

  • １件存在するようです。

    インサイトステータス：合格

[cloudshell-user@ip-10-134-1-45 ~]$ aws eks list-insights --region ap-northeast-1 --cluster-name $CLUSTER

{
    "insights": [
        {
            "id": "e93f18ce-bb38-43c5-8128-1fb4d9eff704",
            "name": "Deprecated APIs removed in Kubernetes v1.32",
            "category": "UPGRADE_READINESS",
            "kubernetesVersion": "1.32",
            "lastRefreshTime": "2024-12-11T07:54:58+00:00",
            "lastTransitionTime": "2024-12-11T07:54:57+00:00",
            "description": "Checks for usage of deprecated APIs that are scheduled for removal in Kubernetes v1.32. Upgrading your cluster before migrating to the updated APIs supported by v1.32 could cause application impact.",
            "insightStatus": {
                "status": "PASSING",
                "reason": "No deprecated API usage detected within the last 30 days."
            }
        }
    ]
}

[cloudshell-user@ip-10-134-1-45 ~]$ aws eks describe-insight --region ap-northeast-1 --id e93f18ce-bb38-43c5-8128-1fb4d9eff704 --cluster-name $CLUSTER

{
    "insight": {
        "id": "e93f18ce-bb38-43c5-8128-1fb4d9eff704",
        "name": "Deprecated APIs removed in Kubernetes v1.32",
        "category": "UPGRADE_READINESS",
        "kubernetesVersion": "1.32",
        "lastRefreshTime": "2024-12-11T07:54:58+00:00",
        "lastTransitionTime": "2024-12-11T07:54:57+00:00",
        "description": "Checks for usage of deprecated APIs that are scheduled for removal in Kubernetes v1.32. Upgrading your cluster before migrating to the updated APIs supported by v1.32 could cause application impact.",
        "insightStatus": {
            "status": "PASSING",
            "reason": "No deprecated API usage detected within the last 30 days."
        },
        "recommendation": "Update manifests and API clients to use newer Kubernetes APIs if applicable before upgrading to Kubernetes v1.32.",
        "additionalInfo": {
            "EKS update cluster documentation": "https://docs.aws.amazon.com/eks/latest/userguide/update-cluster.html",
            "Kubernetes v1.32 deprecation guide": "https://kubernetes.io/docs/reference/using-api/deprecation-guide/#v1-32"
        },
        "resources": [],
        "categorySpecificSummary": {
            "deprecationDetails": [
                {
                    "usage": "/apis/flowcontrol.apiserver.k8s.io/v1beta3/flowschemas",
                    "replacedWith": "/apis/flowcontrol.apiserver.k8s.io/v1/flowschemas",
                    "stopServingVersion": "1.32",
                    "startServingReplacementVersion": "1.29",
                    "clientStats": []
                },
                {
                    "usage": "/apis/flowcontrol.apiserver.k8s.io/v1beta3/prioritylevelconfigurations",
                    "replacedWith": "/apis/flowcontrol.apiserver.k8s.io/v1/prioritylevelconfigurations",
                    "stopServingVersion": "1.32",
                    "startServingReplacementVersion": "1.29",
                    "clientStats": []
                }
            ]
        }
    }
}

  • ステータスが「合格 ( Passing ) 」となっているので、そのまま進めます。

  • IPアドレスの空きを確認します。

[cloudshell-user@ip-10-134-1-45 ~]$ aws ec2 describe-subnets --subnet-ids \
> $(aws eks describe-cluster --name ${CLUSTER} \
> --query 'cluster.resourcesVpcConfig.subnetIds' \
> --output text) \
> --query 'Subnets[*].[SubnetId,AvailabilityZone,AvailableIpAddressCount]' \
> --output table
---------------------------------------------------------
|                    DescribeSubnets                    |
+---------------------------+-------------------+-------+
|  subnet-xxxxxxxxxxxxxxxxx |  ap-northeast-1c  |  4090 |
|  subnet-yyyyyyyyyyyyyyyyy |  ap-northeast-1a  |  4090 |
+---------------------------+-------------------+-------+
  • 十分に空きIPアドレスはあるようなので IAM ROle と Add-on を確認します。
[cloudshell-user@ip-10-134-1-45 ~]$ aws iam get-role --role-name ${ROLE_ARN##*/} \

>   --query 'Role.AssumeRolePolicyDocument'
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "eks.amazonaws.com"
            },
            "Action": [
                "sts:AssumeRole",
                "sts:TagSession"
            ]
        }
    ]
}

[cloudshell-user@ip-10-134-1-45 ~]$ aws eks list-addons --cluster-name $CLUSTER

{
    "addons": []
}

  • アップデートによるアプリへの影響を確認するため、テスト用の myapp でデプロイメントを作成します。

  • myapp には PDB（PodDisruptionBudget） を定義し最低でもに80%の可用性を確保します。

  • 可用性を確認するために、myapp はレプリカ数を１０とします。

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: myapp
spec:
  minAvailable: "80%"
  selector:
    matchLabels:
      app: myapp
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp
spec:
  replicas: 10
  selector:
    matchLabels:
      app: myapp
  template:
    metadata:
      labels:
        app: myapp
    spec:
      containers:
      - image: public.ecr.aws/eks-distro/kubernetes/pause:3.2
        name: myapp
        resources:
          requests:
            cpu: "1"
            memory: 256M
      topologySpreadConstraints:
      - labelSelector:
          matchLabels:
            app: host-zone-spread
        maxSkew: 2
        topologyKey: kubernetes.io/hostname
        whenUnsatisfiable: DoNotSchedule
      - labelSelector:
          matchLabels:
            app: host-zone-spread
        maxSkew: 2
        topologyKey: topology.kubernetes.io/zone
        whenUnsatisfiable: DoNotSchedule
  • 上記をデプロイし、Pod がRuning状態になるのを待ちます。
[cloudshell-user@ip-10-132-66-135 sample]$ kubectl apply -f pdb.yaml
poddisruptionbudget.policy/myapp created

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl apply -f myapp.yaml
deployment.apps/myapp created

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get node
No resources found

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get node
No resources found

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get pod

NAME                    READY   STATUS    RESTARTS   AGE
myapp-5865fb57f-7rsqm   0/1     Pending   0          22s
myapp-5865fb57f-9d6k6   0/1     Pending   0          22s
myapp-5865fb57f-9g2js   0/1     Pending   0          22s
myapp-5865fb57f-bdsvj   0/1     Pending   0          22s
myapp-5865fb57f-h9rj9   0/1     Pending   0          22s
myapp-5865fb57f-hp9g5   0/1     Pending   0          22s
myapp-5865fb57f-r8dzc   0/1     Pending   0          22s
myapp-5865fb57f-rp7kx   0/1     Pending   0          22s
myapp-5865fb57f-sjwrm   0/1     Pending   0          22s
myapp-5865fb57f-x2sdq   0/1     Pending   0          22s

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get node
No resources found

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get node

NAME                  STATUS   ROLES    AGE   VERSION
i-44444444444444444   Ready    <none>   8s    v1.30.5-eks-baa6d11

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get pod

NAME                    READY   STATUS              RESTARTS   AGE
myapp-5865fb57f-7rsqm   0/1     ContainerCreating   0          38s
myapp-5865fb57f-9d6k6   0/1     ContainerCreating   0          38s
myapp-5865fb57f-9g2js   0/1     ContainerCreating   0          38s
myapp-5865fb57f-bdsvj   0/1     ContainerCreating   0          38s
myapp-5865fb57f-h9rj9   0/1     ContainerCreating   0          38s
myapp-5865fb57f-hp9g5   0/1     ContainerCreating   0          38s
myapp-5865fb57f-r8dzc   0/1     ContainerCreating   0          38s
myapp-5865fb57f-rp7kx   0/1     ContainerCreating   0          38s
myapp-5865fb57f-sjwrm   0/1     ContainerCreating   0          38s
myapp-5865fb57f-x2sdq   0/1     ContainerCreating   0          38s

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get node

NAME                  STATUS   ROLES    AGE   VERSION
i-44444444444444444   Ready    <none>   19s   v1.30.5-eks-baa6d11

[cloudshell-user@ip-10-132-66-135 sample]$ kubectl get pod

NAME                    READY   STATUS              RESTARTS   AGE
myapp-5865fb57f-7rsqm   1/1     Running             0          50s
myapp-5865fb57f-9d6k6   1/1     Running             0          50s
myapp-5865fb57f-9g2js   1/1     Running             0          50s
myapp-5865fb57f-bdsvj   1/1     Running             0          50s
myapp-5865fb57f-h9rj9   1/1     Running             0          50s
myapp-5865fb57f-hp9g5   0/1     ContainerCreating   0          50s
myapp-5865fb57f-r8dzc   1/1     Running             0          50s
myapp-5865fb57f-rp7kx   0/1     ContainerCreating   0          50s
myapp-5865fb57f-sjwrm   1/1     Running             0          50s
myapp-5865fb57f-x2sdq   1/1     Running             0          50s
  • ワーカーノードの詳細を確認します。
[cloudshell-user@ip-10-132-66-135 sample]$ kubectl describe node i-44444444444444444   

Name:               i-44444444444444444   
Roles:              <none>
Labels:             app.kubernetes.io/managed-by=eks
                    beta.kubernetes.io/arch=amd64
                    beta.kubernetes.io/instance-type=c5a.4xlarge
                    beta.kubernetes.io/os=linux
                    eks.amazonaws.com/compute-type=auto
                    eks.amazonaws.com/instance-category=c
                    eks.amazonaws.com/instance-cpu=16
                    eks.amazonaws.com/instance-cpu-manufacturer=amd
                    eks.amazonaws.com/instance-cpu-sustained-clock-speed-mhz=3300
                    eks.amazonaws.com/instance-ebs-bandwidth=3170
                    eks.amazonaws.com/instance-encryption-in-transit-supported=true
                    eks.amazonaws.com/instance-family=c5a
                    eks.amazonaws.com/instance-generation=5
                    eks.amazonaws.com/instance-hypervisor=nitro
                    eks.amazonaws.com/instance-memory=32768
                    eks.amazonaws.com/instance-network-bandwidth=5000
                    eks.amazonaws.com/instance-size=4xlarge
                    eks.amazonaws.com/nodeclass=default
                    failure-domain.beta.kubernetes.io/region=ap-northeast-1
                    failure-domain.beta.kubernetes.io/zone=ap-northeast-1a
                    k8s.io/cloud-provider-aws=8929092e801005c613d919fa59bb4a6a
                    karpenter.sh/capacity-type=on-demand
                    karpenter.sh/initialized=true
                    karpenter.sh/nodepool=general-purpose
                    karpenter.sh/registered=true
                    kubernetes.io/arch=amd64
                    kubernetes.io/hostname=i-44444444444444444   
                    kubernetes.io/os=linux
                    node.kubernetes.io/instance-type=c5a.4xlarge
                    topology.ebs.csi.eks.amazonaws.com/zone=ap-northeast-1a
                    topology.k8s.aws/zone-id=apne1-az4
                    topology.kubernetes.io/region=ap-northeast-1
                    topology.kubernetes.io/zone=ap-northeast-1a
Annotations:        alpha.kubernetes.io/provided-node-ip: 10.0.142.77
                    csi.volume.kubernetes.io/nodeid: {"ebs.csi.eks.amazonaws.com":"i-44444444444444444   "}
                    eks.amazonaws.com/nodeclass-hash: 3809868827326149578
                    eks.amazonaws.com/nodeclass-hash-version: v1
                    karpenter.sh/nodepool-hash: 4012513481623584108
                    karpenter.sh/nodepool-hash-version: v3
                    node.alpha.kubernetes.io/ttl: 0
                    volumes.kubernetes.io/controller-managed-attach-detach: true
CreationTimestamp:  Thu, 12 Dec 2024 06:51:22 +0000
Taints:             <none>
Unschedulable:      false
Lease:
  HolderIdentity:  i-44444444444444444   
  AcquireTime:     <unset>
  RenewTime:       Thu, 12 Dec 2024 07:01:02 +0000
Conditions:
  Type                    Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----                    ------  -----------------                 ------------------                ------                       -------
  MemoryPressure          False   Thu, 12 Dec 2024 06:56:57 +0000   Thu, 12 Dec 2024 06:51:21 +0000   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure            False   Thu, 12 Dec 2024 06:56:57 +0000   Thu, 12 Dec 2024 06:51:21 +0000   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure             False   Thu, 12 Dec 2024 06:56:57 +0000   Thu, 12 Dec 2024 06:51:21 +0000   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready                   True    Thu, 12 Dec 2024 06:56:57 +0000   Thu, 12 Dec 2024 06:51:21 +0000   KubeletReady                 kubelet is posting ready status
  ContainerRuntimeReady   True    Thu, 12 Dec 2024 06:56:27 +0000   Thu, 12 Dec 2024 06:51:27 +0000   ContainerRuntimeIsReady      Monitoring for the ContainerRuntime system is active
  StorageReady            True    Thu, 12 Dec 2024 06:56:27 +0000   Thu, 12 Dec 2024 06:51:27 +0000   DiskIsReady                  Monitoring for the Disk system is active
  NetworkingReady         True    Thu, 12 Dec 2024 06:56:27 +0000   Thu, 12 Dec 2024 06:51:27 +0000   NetworkingIsReady            Monitoring for the Networking system is active
  KernelReady             True    Thu, 12 Dec 2024 06:56:27 +0000   Thu, 12 Dec 2024 06:51:27 +0000   KernelIsReady                Monitoring for the Kernel system is active
Addresses:
  InternalIP:   10.0.142.77
  InternalDNS:  ip-10-0-142-77.ap-northeast-1.compute.internal
  Hostname:     ip-10-0-142-77.ap-northeast-1.compute.internal
Capacity:
  cpu:                16
  ephemeral-storage:  83781432Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             32455708Ki
  pods:               110
Allocatable:
  cpu:                15890m
  ephemeral-storage:  76139225780
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             30853148Ki
  pods:               110
System Info:
  Machine ID:                 ec2b1408e63c0d220f96abacf8631237
  System UUID:                ec2b1408-e63c-0d22-0f96-abacf8631237
  Boot ID:                    6c78faf7-2a3d-44f7-b54b-4f0ba5fa7d47
  Kernel Version:             6.1.115
  OS Image:                   Bottlerocket (EKS Auto) 2024.12.8 (aws-k8s-1.30)
  Operating System:           linux
  Architecture:               amd64
  Container Runtime Version:  containerd://1.7.22+bottlerocket
  Kubelet Version:            v1.30.5-eks-baa6d11
  Kube-Proxy Version:         v1.30.5-eks-baa6d11
ProviderID:                   aws:///ap-northeast-1a/i-44444444444444444   
Non-terminated Pods:          (10 in total)
  Namespace                   Name                     CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
  ---------                   ----                     ------------  ----------  ---------------  -------------  ---
  default                     myapp-5865fb57f-7rsqm    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-9d6k6    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-9g2js    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-bdsvj    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-h9rj9    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-hp9g5    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-r8dzc    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-rp7kx    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-sjwrm    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
  default                     myapp-5865fb57f-x2sdq    1 (6%)        0 (0%)      256M (0%)        0 (0%)         10m
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests    Limits
  --------           --------    ------
  cpu                10 (62%)    0 (0%)
  memory             2560M (8%)  0 (0%)
  ephemeral-storage  0 (0%)      0 (0%)
  hugepages-1Gi      0 (0%)      0 (0%)
  hugepages-2Mi      0 (0%)      0 (0%)
Events:
  Type     Reason                   Age                    From                   Message
  ----     ------                   ----                   ----                   -------
  Normal   Starting                 9m46s                  kube-proxy             
  Normal   NodeHasSufficientPID     9m48s (x2 over 9m48s)  kubelet                Node i-44444444444444444   status is now: NodeHasSufficientPID
  Normal   Starting                 9m48s                  kubelet                Starting kubelet.
  Warning  InvalidDiskCapacity      9m48s                  kubelet                invalid capacity 0 on image filesystem
  Normal   NodeHasSufficientMemory  9m48s (x2 over 9m48s)  kubelet                Node i-44444444444444444   status is now: NodeHasSufficientMemory
  Normal   NodeHasNoDiskPressure    9m48s (x2 over 9m48s)  kubelet                Node i-44444444444444444   status is now: NodeHasNoDiskPressure
  Normal   NodeAllocatableEnforced  9m48s                  kubelet                Updated Node Allocatable limit across pods
  Normal   NodeReady                9m48s                  kubelet                Node i-44444444444444444   status is now: NodeReady
  Normal   Ready                    9m47s                  karpenter              Status condition transitioned, Type: Ready, Status: False -> True, Reason: KubeletReady, Message: kubelet is posting ready status
  Normal   RegisteredNode           9m46s                  node-controller        Node i-44444444444444444   event: Registered Node i-44444444444444444   in Controller
  Normal   Synced                   9m46s                  cloud-node-controller  Node synced successfully
  Normal   DisruptionBlocked        9m43s                  karpenter              Cannot disrupt Node: state node is nominated for a pending pod
  Normal   Unconsolidatable         9m3s                   karpenter              Can't replace with a cheaper node

  • では、いよいよ、コンソール画面よりアップグレードを実行します。

  • Kubernetesバージョンを1.30から1.31へアップグレードします。

  • マスターノードのアップグレードが完了しだい、ワーカーノードのアップグレードが始まります。

  • アップグレードの様子をワーカーノードの側面から見ていきます。
[cloudshell-user@ip-10-132-78-22 ~]$ kubectl get nodes --watch

NAME                  STATUS   ROLES    AGE   VERSION
i-44444444444444444   Ready    <none>   96m   v1.30.5-eks-baa6d11
i-55555555555555555 NotReady   <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 NotReady   <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 NotReady   <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   0s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   1s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   1s    v1.31.1-eks-1b3e656
i-55555555555555555 Ready      <none>   4s    v1.31.1-eks-1b3e656
i-44444444444444444   Ready      <none>   96m   v1.30.5-eks-baa6d11
i-44444444444444444   Ready      <none>   96m   v1.30.5-eks-baa6d11
  • 最初に作成された i-44444444444444444 に加え、２台目のワーカーノード i-55555555555555555 が作成され、最後は i-55555555555555555 が残ります。
[cloudshell-user@ip-10-132-78-22 ~]$ kubectl get nodes --watch

NAME                  STATUS   ROLES    AGE     VERSION
i-55555555555555555 Ready    <none>   9m40s   v1.31.1-eks-1b3e656
  • 同様にアップグレードの様子をPodの側面から見ていきます。
[cloudshell-user@ip-10-132-78-22 ~]$ kubectl get pod --watch

NAME                    READY   STATUS    RESTARTS   AGE
myapp-5865fb57f-7jfln   1/1     Running   0          11s
myapp-5865fb57f-7rsqm   1/1     Running   0          97m
myapp-5865fb57f-9g2js   1/1     Running   0          97m
myapp-5865fb57f-btt2j   1/1     Running   0          30s
myapp-5865fb57f-d92s5   1/1     Running   0          1s
myapp-5865fb57f-gt4l7   1/1     Running   0          13s
myapp-5865fb57f-pnn8l   1/1     Running   0          12s
myapp-5865fb57f-pvd6r   1/1     Running   0          29s
myapp-5865fb57f-vpwzq   1/1     Running   0          1s
myapp-5865fb57f-x2sdq   1/1     Running   0          97m
myapp-5865fb57f-x2sdq   1/1     Running   0          97m
myapp-5865fb57f-x2sdq   1/1     Terminating   0          97m
myapp-5865fb57f-x2sdq   1/1     Terminating   0          97m
myapp-5865fb57f-s68bm   0/1     Pending       0          0s
myapp-5865fb57f-s68bm   0/1     Pending       0          0s
myapp-5865fb57f-s68bm   0/1     ContainerCreating   0          0s
myapp-5865fb57f-9g2js   1/1     Running             0          97m
myapp-5865fb57f-9g2js   1/1     Terminating         0          97m
myapp-5865fb57f-9g2js   1/1     Terminating         0          97m
myapp-5865fb57f-ljmnx   0/1     Pending             0          0s
myapp-5865fb57f-ljmnx   0/1     Pending             0          0s
myapp-5865fb57f-x2sdq   0/1     Completed           0          97m
myapp-5865fb57f-9g2js   0/1     Completed           0          97m
myapp-5865fb57f-ljmnx   0/1     ContainerCreating   0          1s
myapp-5865fb57f-s68bm   1/1     Running             0          1s
myapp-5865fb57f-x2sdq   0/1     Completed           0          97m
myapp-5865fb57f-x2sdq   0/1     Completed           0          97m
myapp-5865fb57f-9g2js   0/1     Completed           0          97m
myapp-5865fb57f-9g2js   0/1     Completed           0          97m
myapp-5865fb57f-ljmnx   1/1     Running             0          2s
myapp-5865fb57f-7rsqm   1/1     Running             0          97m
myapp-5865fb57f-7rsqm   1/1     Terminating         0          97m
myapp-5865fb57f-2rg5j   0/1     Pending             0          0s
myapp-5865fb57f-7rsqm   1/1     Terminating         0          97m
myapp-5865fb57f-2rg5j   0/1     Pending             0          0s
myapp-5865fb57f-2rg5j   0/1     ContainerCreating   0          0s
myapp-5865fb57f-7rsqm   0/1     Completed           0          97m
myapp-5865fb57f-7rsqm   0/1     Completed           0          97m
myapp-5865fb57f-7rsqm   0/1     Completed           0          97m
myapp-5865fb57f-2rg5j   1/1     Running             0          1s
  • 上記の履歴を整理すると、以下の起動して間もない１０個のレプリカが起動され、可用性が確保されています。
myapp-5865fb57f-7jfln   1/1     Running   0          11s
myapp-5865fb57f-btt2j   1/1     Running   0          30s
myapp-5865fb57f-d92s5   1/1     Running   0          1s
myapp-5865fb57f-gt4l7   1/1     Running   0          13s
myapp-5865fb57f-pnn8l   1/1     Running   0          12s
myapp-5865fb57f-pvd6r   1/1     Running   0          29s
myapp-5865fb57f-vpwzq   1/1     Running   0          1s
myapp-5865fb57f-s68bm   1/1     Running             0          1s
myapp-5865fb57f-ljmnx   1/1     Running             0          2s
myapp-5865fb57f-2rg5j   1/1     Running             0          1s

  • これらの新たに生成されたPodは２台目のワーカーノードで実行されていることがわかります。

  • Kubernetesバージョンも 1.31 になっています。

[cloudshell-user@ip-10-132-78-22 ~]$ kubectl describe node i-55555555555555555 

Name:               i-55555555555555555 
Roles:              <none>
Labels:             app.kubernetes.io/managed-by=eks
                    beta.kubernetes.io/arch=amd64
                    beta.kubernetes.io/instance-type=c5a.4xlarge
                    beta.kubernetes.io/os=linux
                    eks.amazonaws.com/compute-type=auto
                    eks.amazonaws.com/instance-category=c
                    eks.amazonaws.com/instance-cpu=16
                    eks.amazonaws.com/instance-cpu-manufacturer=amd
                    eks.amazonaws.com/instance-cpu-sustained-clock-speed-mhz=3300
                    eks.amazonaws.com/instance-ebs-bandwidth=3170
                    eks.amazonaws.com/instance-encryption-in-transit-supported=true
                    eks.amazonaws.com/instance-family=c5a
                    eks.amazonaws.com/instance-generation=5
                    eks.amazonaws.com/instance-hypervisor=nitro
                    eks.amazonaws.com/instance-memory=32768
                    eks.amazonaws.com/instance-network-bandwidth=5000
                    eks.amazonaws.com/instance-size=4xlarge
                    eks.amazonaws.com/nodeclass=default
                    failure-domain.beta.kubernetes.io/region=ap-northeast-1
                    failure-domain.beta.kubernetes.io/zone=ap-northeast-1a
                    k8s.io/cloud-provider-aws=8929092e801005c613d919fa59bb4a6a
                    karpenter.sh/capacity-type=on-demand
                    karpenter.sh/initialized=true
                    karpenter.sh/nodepool=general-purpose
                    karpenter.sh/registered=true
                    kubernetes.io/arch=amd64
                    kubernetes.io/hostname=i-55555555555555555 
                    kubernetes.io/os=linux
                    node.kubernetes.io/instance-type=c5a.4xlarge
                    topology.ebs.csi.eks.amazonaws.com/zone=ap-northeast-1a
                    topology.k8s.aws/zone-id=apne1-az4
                    topology.kubernetes.io/region=ap-northeast-1
                    topology.kubernetes.io/zone=ap-northeast-1a
Annotations:        alpha.kubernetes.io/provided-node-ip: 10.0.140.203
                    csi.volume.kubernetes.io/nodeid: {"ebs.csi.eks.amazonaws.com":"i-55555555555555555 "}
                    eks.amazonaws.com/nodeclass-hash: 3809868827326149578
                    eks.amazonaws.com/nodeclass-hash-version: v1
                    karpenter.sh/nodepool-hash: 4012513481623584108
                    karpenter.sh/nodepool-hash-version: v3
                    node.alpha.kubernetes.io/ttl: 0
                    volumes.kubernetes.io/controller-managed-attach-detach: true
CreationTimestamp:  Thu, 12 Dec 2024 08:27:34 +0000
Taints:             <none>
Unschedulable:      false
Lease:
  HolderIdentity:  i-55555555555555555 
  AcquireTime:     <unset>
  RenewTime:       Thu, 12 Dec 2024 08:44:03 +0000
Conditions:
  Type                    Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message
  ----                    ------  -----------------                 ------------------                ------                       -------
  MemoryPressure          False   Thu, 12 Dec 2024 08:43:23 +0000   Thu, 12 Dec 2024 08:27:32 +0000   KubeletHasSufficientMemory   kubelet has sufficient memory available
  DiskPressure            False   Thu, 12 Dec 2024 08:43:23 +0000   Thu, 12 Dec 2024 08:27:32 +0000   KubeletHasNoDiskPressure     kubelet has no disk pressure
  PIDPressure             False   Thu, 12 Dec 2024 08:43:23 +0000   Thu, 12 Dec 2024 08:27:32 +0000   KubeletHasSufficientPID      kubelet has sufficient PID available
  Ready                   True    Thu, 12 Dec 2024 08:43:23 +0000   Thu, 12 Dec 2024 08:27:33 +0000   KubeletReady                 kubelet is posting ready status
  NetworkingReady         True    Thu, 12 Dec 2024 08:42:38 +0000   Thu, 12 Dec 2024 08:27:38 +0000   NetworkingIsReady            Monitoring for the Networking system is active
  KernelReady             True    Thu, 12 Dec 2024 08:42:38 +0000   Thu, 12 Dec 2024 08:27:38 +0000   KernelIsReady                Monitoring for the Kernel system is active
  ContainerRuntimeReady   True    Thu, 12 Dec 2024 08:42:38 +0000   Thu, 12 Dec 2024 08:27:38 +0000   ContainerRuntimeIsReady      Monitoring for the ContainerRuntime system is active
  StorageReady            True    Thu, 12 Dec 2024 08:42:38 +0000   Thu, 12 Dec 2024 08:27:38 +0000   DiskIsReady                  Monitoring for the Disk system is active
Addresses:
  InternalIP:   10.0.140.203
  InternalDNS:  ip-10-0-140-203.ap-northeast-1.compute.internal
  Hostname:     ip-10-0-140-203.ap-northeast-1.compute.internal
Capacity:
  cpu:                16
  ephemeral-storage:  83781432Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             32455708Ki
  pods:               110
Allocatable:
  cpu:                15890m
  ephemeral-storage:  76139225780
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             30853148Ki
  pods:               110
System Info:
  Machine ID:                 ec24ab668e09345f5f4b1c62388eff05
  System UUID:                ec24ab66-8e09-345f-5f4b-1c62388eff05
  Boot ID:                    97d92ddb-bd09-4938-802f-0eb5f57a3042
  Kernel Version:             6.1.115
  OS Image:                   Bottlerocket (EKS Auto) 2024.12.8 (aws-k8s-1.31)
  Operating System:           linux
  Architecture:               amd64
  Container Runtime Version:  containerd://1.7.22+bottlerocket
  Kubelet Version:            v1.31.1-eks-1b3e656
  Kube-Proxy Version:         v1.31.1-eks-1b3e656
ProviderID:                   aws:///ap-northeast-1a/i-55555555555555555 
Non-terminated Pods:          (10 in total)
  Namespace                   Name                     CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
  ---------                   ----                     ------------  ----------  ---------------  -------------  ---
  default                     myapp-5865fb57f-2rg5j    1 (6%)        0 (0%)      256M (0%)        0 (0%)         15m
  default                     myapp-5865fb57f-7jfln    1 (6%)        0 (0%)      256M (0%)        0 (0%)         16m
  default                     myapp-5865fb57f-btt2j    1 (6%)        0 (0%)      256M (0%)        0 (0%)         16m
  default                     myapp-5865fb57f-d92s5    1 (6%)        0 (0%)      256M (0%)        0 (0%)         15m
  default                     myapp-5865fb57f-gt4l7    1 (6%)        0 (0%)      256M (0%)        0 (0%)         16m
  default                     myapp-5865fb57f-ljmnx    1 (6%)        0 (0%)      256M (0%)        0 (0%)         15m
  default                     myapp-5865fb57f-pnn8l    1 (6%)        0 (0%)      256M (0%)        0 (0%)         16m
  default                     myapp-5865fb57f-pvd6r    1 (6%)        0 (0%)      256M (0%)        0 (0%)         16m
  default                     myapp-5865fb57f-s68bm    1 (6%)        0 (0%)      256M (0%)        0 (0%)         15m
  default                     myapp-5865fb57f-vpwzq    1 (6%)        0 (0%)      256M (0%)        0 (0%)         15m
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests    Limits
  --------           --------    ------
  cpu                10 (62%)    0 (0%)
  memory             2560M (8%)  0 (0%)
  ephemeral-storage  0 (0%)      0 (0%)
  hugepages-1Gi      0 (0%)      0 (0%)
  hugepages-2Mi      0 (0%)      0 (0%)
Events:
  Type     Reason                   Age                From                   Message
  ----     ------                   ----               ----                   -------
  Normal   Starting                 16m                kube-proxy             
  Normal   NodeHasSufficientPID     16m (x2 over 16m)  kubelet                Node i-55555555555555555 status is now: NodeHasSufficientPID
  Normal   Starting                 16m                kubelet                Starting kubelet.
  Warning  InvalidDiskCapacity      16m                kubelet                invalid capacity 0 on image filesystem
  Normal   NodeHasSufficientMemory  16m (x2 over 16m)  kubelet                Node i-55555555555555555 status is now: NodeHasSufficientMemory
  Normal   NodeHasNoDiskPressure    16m (x2 over 16m)  kubelet                Node i-55555555555555555 status is now: NodeHasNoDiskPressure
  Normal   NodeAllocatableEnforced  16m                kubelet                Updated Node Allocatable limit across pods
  Normal   NodeReady                16m                kubelet                Node i-55555555555555555 status is now: NodeReady
  Normal   Ready                    16m                karpenter              Status condition transitioned, Type: Ready, Status: False -> True, Reason: KubeletReady, Message: kubelet is posting ready status
  Normal   Synced                   16m                cloud-node-controller  Node synced successfully
  Normal   RegisteredNode           16m                node-controller        Node i-55555555555555555 event: Registered Node i-55555555555555555 in Controller
  Normal   DisruptionBlocked        16m                karpenter              Cannot disrupt Node: state node is nominated for a pending pod
  Normal   Unconsolidatable         14m                karpenter              Can't replace with a cheaper node
  • バージョン1.31にアップグレードされました。

アップグレード完了画面

  • ワーカーノードのアップグレードの動きをまとめると以下のようになります。

    • アップグレード先バージョンのワーカーノードが追加される
    • 稼働中のPodは一旦、Terminate され、追加されたワーカーノードで再度起動される
    • この時、PDBで指定した可用性は維持される
    • 全てのPodが再起動された後、もとの（旧バージョン）のワーカーノードが削除される

  • アプリの可用性を維持した状態でワーカノードを自動でアップグレードできることが確認できました。

【お知らせ】

【AWS re:Invent 2024 をエンジニアブログで振り返ろう】

2024年12月2日 - 12月6日 | ラスベガス（米国）
世界最大の AWS カンファレンス・AWS re:Invent 2024の感動をエンジニアブログで振り返りましょう！

AWS re:Invent 2024のブログ記事を読む

swx-hiroshi-saito

"; doc.innerHTML = entry_notice + doc.innerHTML; }
' } }) e.innerHTML = codeBlock; });