はじめに この記事は全3回で、自宅にKaaS(Kubernetes as a Service)を構築する方法を解説するシリーズの3つめです。 Cluster APIインストール編 ClusterClass設定編 ストレージ設定編 ←ココ 目指すべき全体像はこんな感じ。Management ClusterにCluster APIからKubernetesのクラスタが自動でデプロイされていきます。 前回、ClusterClassを使って、Kubernetesクラスタを払いだすKaaSを作りました。 今回は、ClusterResourceSetという機能を使ってラベルを付けるだけで払いだしたKubernetesクラスタからProxmoxのストレージを使えるように設定していきます。 apiVersion: cluster.x-k8s.io/v1beta1 kind: Cluster metadata

はじめに この記事は全3回で、自宅にKaaS(Kubernetes as a Service)を構築する方法を解説するシリーズの2つめです。 Cluster APIインストール編 ClusterClass設定編 ←ココ ストレージ設定編 目指すべき全体像はこんな感じ。Management ClusterにCluster APIからKubernetesのクラスタが自動でデプロイされていきます。 前回、Cluster APIをインストールして、とりあえず、Kubernetesクラスタをプロビジョニングするところまでは行いました。しかし、その手順ではKaaS利用者がインフラ構成を意識しないといけないうえ、マニフェストが巨大でした。 cluster01-gen.yaml (266行) apiVersion: cluster.x-k8s.io/v1beta1 kind: Cluster metada

はじめに Kubernetesはどこのご家庭にも1クラスタはあると思いますが、ご家族で共有されているというケースが多いと伺います。しかし、Operatorの開発などで1人1クラスタほしいと考える方も多いのではないでしょうか？今回はそんな声にお応えして、全3回のシリーズで、自宅にKaaS(Kubernetes as a Service)を構築する方法を解説します。 Cluster APIインストール編 ←ココ ClusterClass設定編 ストレージ設定編 目指すべき全体像はこんな感じ。Management ClusterにCluster APIからKubernetesのクラスタが自動で払いだされていきます。 Cluster APIインストール編でやること Cluster APIをインストールして、適当なクラスタを払いだします。 Proxmoxの設定 K3s構築 K3s上にCluster

しかし、これだけで両者の違いを理解するのは難しいかと思います。そこで、SREの関心事に関するアーキタイプについて紹介します。 一般的に、SRE は主な関心事に基づいて 4 つのタイプに分類できます。 Admin インフラのプロビジョニングと保守、サードパーティツールの契約管理とアクセス制御リソースの最適化 ( FinOps ) と IaC ( Infrastructure as Code ) を用いたコーディング Firefighter インシデント管理 ( IcM | Incident Management) 、製品準備ロードマップ ( PRR | Product Readiness Roadmap ) の所有オンコールプロセスの設定支援と SOP ( Standard Operating Procedure ) に基づく緩和措置の実行 Toolsmith 開発チームの認知負荷軽減とゴー

この記事は hacomono Advent Calendar 2024 9日目の記事です。 こんにちは！基盤本部プラットフォームグループのかいかいです。 今回初めてアドベントカレンダーなるものに参加してみました。 どんな話題でも OK とハードルを低くしてもらっているので、今回は Kubernetes 周りを学習したことを話したいと思います。 組織での取り組みではなく、個人の取り組みになりますのでご了承ください！ 経緯 私はお家 k8s などを行っており、Kubernetes でできることや利用方法はなんとなくわかってきたのですが、Kubernetes の内部で起きていることまでは理解できていないなと感じていました。 また、今後 Kubernetes を採用しても運用できるように、有識者による Istio 勉強会が最近始まり、Kubernetes の内部詳細を知る必要性も出てきたと感じてい

こんにちは。メルペイData Platformチームの@siyuan.liuです。 この記事は、Merpay & Mercoin Advent Calendar 2024 の記事です。 Merpay Data Platformチームは、社内共通のデータ処理基盤の開発と運用を担当しており、バッチ処理やリアルタイム処理など、さまざまなPipelineを提供しています。その中でも、リアルタイムで大量のログを収集するStream Pipelineがあります。このStream処理は、Kubernetes上でFlink Operatorを使用し、Flinkを自動的に管理することで実現されています。 しかし、このStream Pipelineでは、トラフィックピーク時にCPUやメモリ不足によるコンシューマーラグが発生するという課題がありました。これを防ぐため、通常は余剰のCPUやメモリを割り当てますが、

Platformチームでエンジニアをしているsanposhihoです。メルカリのPlatformチームでオートスケーリング周りの課題の解決を担当しており、Kubernetes UpstreamでもSchedulingやAutoscaling周りの開発に参加しています。 メルカリでは全社的にFinOpsに取り組んでおり、Kubernetesリソースは最適化の余地があるエリアです。 メルカリではPlatformチームとサービスの開発チームで明確に責務が分かれています。Platformではサービス構築に必要な基礎的なインフラストラクチャを管理し、それらを簡単に扱うための抽象化された設定やツールなどの提供を行っています。サービスの開発チームは、それらを通してサービスごとの要件に応じたインフラストラクチャの構築を行います。 サービスやチームの数も多く、そのような状況での全社的なKubernetesリ

目次 1章 はじめに 2章 食べログのKubernetes移行について Kubernetes移行の背景 これまでの歩み 3章 巨大モノレポのKubernetes移行におけるチームの課題 現状 課題 解決: 「俺に任せろ」 4章 巨大モノレポのKubernetes移行を始める戦略 戦略1: 一度にたくさんのことをしようとしない 戦略2: リフトアンドシフト 戦略3: 切り替えは迅速かつシームレスに 5章 巨大モノレポのKubernetes移行の実践 「Webサーバ設定を可能なかぎりそのまま維持」のためのconfigを揃える ユーザ影響がわかるようにモニタリング整備 切り替え 6章 おわりに モノレポのWebサーバ Kubernetes移行は完了、次はAPサーバ Kubernetesについて深く理解しておくのが大事 Webサーバだけを移行対象にしたのはかなり良かった やってよかったKubern

本記事は、2024年夏季インターンシッププログラムで勤務された俵 遼太さんによる寄稿です。 こんにちは、京都大学 工学部 電気電子工学科3回生の 俵 遼太 (id:walnuts1018) です。 今回、PFN 2024 夏期国内インターンシップに参加し、社内機械学習基盤の開発・運用を行うCluster Servicesチームにて、「Podごとのインターネットトラフィック量を計測するツールの開発」というテーマに取り組みました。 この記事では、社内のKubernetesクラスタにおける課題と、Podごとのインターネットトラフィック量を計測するために作成したツールについて紹介します。 社内のKubernetesクラスタにおける課題 社内の Kubernetes クラスタでは、複数のユーザーが同じクラスタを利用して様々なワークロードを動かしています。このような構成をとることで、マシンリソースの利

When you use Amazon EKS Hybrid Nodes to attach your on-premises and edge infrastructure to EKS clusters, you can use other Amazon EKS features and integrations, including Amazon EKS add-ons, Pod Identities, cluster access entries, cluster insights, and extended Kubernetes version support. Amazon EKS Hybrid Nodes inherently integrates with AWS services including AWS Systems Manager, AWS IAM Roles A

このエントリーは一休.com Advent Calendar 2024の6日目の記事になります。 デモ環境を簡単に作りたい 特定の新機能を関係者にお披露目するためのデモ環境は、簡単に作れて、かつ、修正も素早く反映できると、うれしいです。 デモ環境へのデプロイは、特別なことをするのではなく、既存の開発ワークフローに混ぜ込みたい。 デモ環境は、静的な配置場所があるのではなくて、デプロイ時に動的にリソース確保して作成され、使い終わったら、破棄される。静的な配置場所があると、「デモ環境使いたいので使い終わったら教えてください」的なやり取りが生まれますが、これは、なくしたい。 このうち、1.は、Github ActionsでGithubのイベントをトリガにして、既存の開発ワークフローにうまく混ぜ込んでデプロイできそうです。 2.については、Kubernetesを使って、ロードバランサからアプリケーシ

「＠IT Cloud Native Week 2024冬」の基調講演に、NTTデータグループ テクニカルリード 小林隆浩氏が登壇。「今から学ぼう！クラウドネイティブなデータベースの世界」と題して、クラウドネイティブ環境でデータベースを選択する上での基礎知識や、現在のトレンドと今後の展望を解説した。 DBaaSの利用率が圧倒的に高く、コンテナ環境でのDBはまだ少ない状況 クラウドネイティブが浸透する中、データベースをクラウドで提供するDBaaS（Database as a Service）の在り方は絶えず変化している。小林氏は「私は普段から『データベースをKubernetesで動かしましょう』という話をします。今日はその辺りの話から始め、データベースのマルチクラウド展開とはどのようなものなのか、今後どうなるのかといった話までたどり着きたい」と切り出した。 小林氏は、「Oracle Datab

はじめに 半月ほど前に、ようやく自分の VPS 環境で動いているものすべてを kubernetes クラスタに移行しました。とても満足感が高くやって良かったと思っています。 ウェブサーバ、メールサーバ、Nostr のリレーサーバや Nostr/Bluesky/Twitter で動かしている各種 bot もすべて kubernetes です。 昨日は knative を導入したので、Go や Rust や Ruby や Python や、いろんな言語のクラウドネイティブアプリを簡単に実行できる様にしました。 knative 便利 残念ながら knative は helm パッケージとして提供されていません。ArtifactHub でそれっぽい物が公開されていますが、ほぼ手作業と変わりません。 おおよそ以下の手順でインストールできます。knative ではネットワークレイヤとして以下の3つが用

章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール（Container Runtime）として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes（K8s）の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報

2022/03/09 OCHaCafe5 #3 Kubernetes のセキュリティ コンテナセキュリティにおける権限制御 〜Seccompとかよくわからんけどとりあえずこれくらいはやっておこう〜 セッション動画 https://ochacafe.connpass.com/event/238355/

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...