Istioは、サービスメッシュを実現する新たな仕組みとして試験的に開発していた「Ambient Service Mesh」をメインブランチに統合し、正式な機能として組み込んで行く方針であることを発表しました。 現在のIstioは、各サービス（≒KubenetesのPod）ごとにプロキシを配置し、サービス間のネットワークをプロキシ経由で構成することによってサービスメッシュを構築しています。これによりサービス間の通信のトラフィックコントロール、暗号化、可観測性（オブザーバビリティ）などの機能が実現されるわけです。 この仕組みは、サービスの隣にプロキシを配置することから、「サイドカー」パターンなどと呼ばれています。 しかしPodごとにサイドカーをデプロイする必要があるため、これにかかる手間やリソースの消費が課題でした。 eBPFを用いたサイドカーフリーなCiliumへ注目が集まる そうした中で最

GrafanaとCiliumが戦略的提携。eBPFベースの強力な可観測性のCiliumとGrafanaの統合を推進 クラウドネイティブなデータ可視化ツール「Grafana」などの開発元であるGrafana Labsと、Linuxカーネルを拡張する「eBPF」用いてサービスメッシュや可観測性を提供する「Cilium」の開発元であるIsovalentが、戦略的提携を発表しました。 Grafana Labs has partnered with Isovalent to bring Grafana observability to Cilium's Service Connectivity on Kubernetes. We're very excited about this opportunity to bring together Cilium and Grafana enabling d

はじめに 今回は、コンテナを中心にした技術をより有効活用するためのアーキテクチャ(構造)について説明していきます。そのため、今までよりも少し難しい内容になるかもしれません。取り上げるテーマは「マイクロサービス」と「サーバーレス」です。本来であれば、この2つのアーキテクチャを説明するためには、サービスの分割や開発者によって作られるアプリケーションの開発手法から説明しなければならないのですが、今回はアーキテクチャにフォーカスを当てていきたいと思います。 マイクロサービスアーキテクチャとは まずは、マイクロサービスアーキテクチャについて説明していきましょう。マイクロサービスアーキテクチャを説明するためには、「モノリシック」なサービスと対比するとわかりやすいでしょう。図1に2つの構造を並べてみました。 つまり「マイクロ」という言葉の通り、アプリケーションをある程度の細かな機能単位で分割し、独立して

Istioは、サービスメッシュを実現する新たな仕組み「Ambient Mesh」を発表しました。 現在のIstioは、各サービス（≒KubenetesのPod）ごとにプロキシを配置し、サービス間のネットワークをプロキシ経由で構成することによってサービスメッシュを構築しています。これによりサービス間の通信のトラフィックコントロール、暗号化、可観測性（オブザーバビリティ）などの機能が実現されるわけです。 この仕組みは、サービスの隣にプロキシを配置することから、「サイドカー」パターンなどと呼ばれています。 新たな仕組み「Ambient Mesh」では、Pod群をホストしているノードにプロキシを配置し、このプロキシによってサービスメッシュの機能を実現します。 Podごとのプロキシ配置が不要になる、つまり「サイドカーレス」（Sidecar-less）なパターンとなることで、デプロイや管理の容易、コン

はじめに eBPF とはなにか ざっくり概要 「Packet Filter」なのに「Virtual Machine」? eBPFでなにができるか? カーネルイベントのフック ユーザーランドアプリケーションとのやりとり eBPFの主な用途 eBPFが注目される背景 eBPFの仕組み アーキテクチャと処理フロー カーネルモジュールとeBPFの違い eBPFプログラムの作り方 eBPFプログラムを作ってみる 環境の準備 Hello world もう少し複雑なサンプル その他のサンプル HTTPリクエストのダンプ TCP接続先の調査 tcplife dirtop filetop oomkill まとめ eBPFはなにに使えるか 参考サイト はじめに こんにちは、Platformチームの小森です。 eBPF (extended Berkley Packet Filter) について、2022年8月2

こんにちは。 Platformチームの前多(@kencharos)です。 2022年8月9日に開催した社内勉強会で、eBPFベースのネットワークミドルウェア、Cilium(スリィアム) について発表しました。 この記事は発表の内容をベースに内容を補足したものです。 この記事を読むにあたり、Kubernetesをある程度触ったことがないと用語などが分かりづらいかもしれません。 サービスメッシュやIstioについては、構成や導入目的について簡単に次節に記載しています。 より詳しく知りたい方はIstioのサービスメッシュの説明を見てもらえると、Ciliumとの対比がわかりやすくなるでしょう。 またサービスメッシュを触ったことがある、あるいは運用している方であれば、Ciliumの魅力がより伝わると思います。 eBPFの知識は必要ありません。またeBPFについて同僚も社内勉強会で発表していますので、

NECサイバーセキュリティ戦略統括部 セキュリティ技術センターの森本です。 本ブログでは、Kubernetesのポリシ制御機能の動向について紹介したいと思います。 コンテナ技術には計算機リソースの節約や可搬性の高さといったメリットがありますが、管理するコンテナが増加することで運用が煩雑となってしまう側面も存在します。Kubernetesをはじめとしたオーケストレーションシステムの導入は、コンテナのデプロイ、スケーリング、管理が自動化でき、運用コストを低減できるとされています。 Kubernetesには、意図しない権限を持つアカウントによるコンテナの実行を拒否するPod Security Policy(PSP)と呼ばれる機能が組み込まれていました。この機能は、コンテナ本体のセキュリティ対策を担保する上で重要な機能でしたが、Kubernetesのv1.21から非推奨となりました。今回はこの非推

2017年11月14日開催 『サイバーエージェントとさくらインターネットのインフラ談義』のスライド資料ですRead less

iptablesの課題を解消し、高速で安全な通信を実現するCiliumとはなにか？　KubeConでのプレゼンテーションをベースに解説する。 コンテナを用いたクラウドネイティブなシステムに移行しようとすると、従来の仮想マシンベースのシステムよりも粒度の細かいコンテナワークロードをオーケストレーションする必要がある。昨今Kubernetesが注目されているのは、そのためだ。その際にコンテナ間のネットワークをどのように構成するのか？　は、インフラストラクチャーエンジニア、ネットワークエンジニア双方にとって頭が痛い問題である。特に多くのコンテナが連携するシステムであれば、コンテナ間のトラフィックを遅延なく通信させることが重要になる。 またIstioのように、サービスメッシュとしてPodの中にProxyをサイドカーモードで構成する場合、コンテナとProxyの間にも通信が発生し、ますますオーバーヘッ

調査テーマ Ciliumとは？ / 登場背景 / 解決すること Ciliumとは？ 登場背景 Ciliumが解決すること eBPF(extend Berkeley Packet Filter)とは？ XDP(eXpress DataPath)とは？ Ciliumができること/他との違い Nodeを跨ぐ通信の実現(CNI) ロードバランシング 帯域のコントロール マルチクラスタ通信 モニタリングとトラブルシュート Hubbleとは？ Ciliumが使われているケース(あれば) Ciliumのアーキテクチャ 通信について Cilium利用の前提条件 kube-proxyを使わずにCiliumを使う その他つらつら、メモ、感想 参考 調査テーマ Ciliumとは？ / 登場背景 / 解決すること Ciliumができること/他との違い Ciliumが使われている事例 Ciliumのアーキテクチャ

クラウドネイティブの注目動向、eBPFとWebAssemblyの利用が広がる、Appleが人材のブラックホールに。CNCFアンバサダー ＠_inductor_氏に聞いた Kubernetesの開発をホストするなどクラウドネイティブ関連のテクノロジーやソフトウェアを主導するCloud Native Computing Foundation（以下CNCF）は、2021年を総括するレポート「CNCF 2021 ANNUAL REPORT」を公開しました。 CNCFは2021年末現在でKubernetes、Prometheus、Envoy、ContainerDなどを始めとする120以上の開発プロジェクトをホスト。エンドユーザー数も順調に伸びています。 内容の詳細はぜひレポートをご参照ください。 合わせてPublickeyでは、この1年のCNCFやクラウドネイティブの動向について、CNCFアンバサダ

あけましておめでとうございます。サイバーエージェントの青山真也（@amsy810）です。今年の新春企画では、2022年にも動向を見ていきたいと思っている、2021年のCloudNative関連のトピックを紹介します。項目としてはeBPF、WebAssembly（Wasm⁠）⁠、複数Kubernetesクラスタの管理・連携、CNCF Technical Advisory Groups（TAGs）によるWhitepaperを取り上げていきます。 eBPF eBPFは、カーネルのソースコードの変更なしに任意のプログラムをカーネルに組み込み、カーネル空間で任意の処理を実行するための仕組みです。CNCFのプロジェクトでは、Cilium・Calico・Falco・Pixieなどで利用されています。 CloudNative領域でのeBPFは、ネットワーク関連での利用が一番活発です。eBPFを利用したCN

はじめに 前回は、これまで説明したDeploymentやServiceを使って実際にJavaアプリケーションを動作しました。ここでは「kustomize」というツールを利用してマニフェストを統合しました。 今回は、この「kustomize」について少し掘り下げて説明し、実際にkubernetesマニフェストを整理していきます。 kubernetesマニフェストの肥大化 これまで、kubernetes上にアプリケーションを展開するためにマニフェストファイルを書いてきました。アプリケーション1つにマニフェストファイルが1セット、というように対応していれば良いのですが、実際の運用ではそうもいかないことがあります。それこそ前回取り扱ったアプリケーションのように、開発環境と本番環境、あるいはステージング環境で微妙にマニフェストが異なる…ということはよくあります。このときにファイルを用いて差分管理して

はじめに 今回は、これまでの回で学んだことを踏まえて、より複雑で実践的なアプリケーションをデプロイしてみましょう。 サンプルアプリケーションの概要 今回利用するサンプルアプリケーションは、技術ブログサイトをイメージして作成しました。4つのサービスに分かれており、それぞれ「Article」「AccessCount」「Rank」「WebSite」と呼びます。 アプリケーションのソースコードとデプロイ用のマニフェストはGitLab.comの以下のプロジェクトで公開されています。 https://gitlab.com/creationline/thinkit-kubernetes-sample1 WebSiteサービス：エンドユーザ向けのWebサイトを提供。記事の一覧と各記事のページが閲覧でき、前日のアクセスランキングがサイドバーに表示される。 Articleサービス：ブログ記事の一覧と取得、作成

本連載ではKubernetesやマイクロサービスを活用するにあたりどんな準備を進めておけばいいか整理します。第5回はPrometheus・Grafanaを活用してモニタリング、ロギングする方法を紹介します。 1. はじめに 前回Kubernetes上にDaprを活用したマイクロサービスアプリケーションの導入まで実施しました。アプリケーションが稼働するところまでは出来ましたので、今回はKubernetesやその上で動作するアプリケーションのモニタリングやログの可視化を行います。ここまでで本連載としては一区切りになります。 また、今回は検証パターンとして、Kubernetes内ですべてリソースを用意するケースと、一部AWSのマネージドサービスを利用する例を紹介します。 2. モニタリング モニタリングではリソース（CPU、メモリ、ディスクなど）の使用量やパフォーマンス、アプリケーションの死活監

本連載ではKubernetesやマイクロサービスを活用するにあたりどんな準備を進めておけばいいか整理します。第4回はDaprを活用したアプリケーションの構築方法を紹介します。 1. はじめに これまでの連載でKubernetes（AWS EKS）を構築するIaCやアプリケーションのデプロイ手順、ローカルで開発するためのツールなどを紹介してきました。今回はその上で動作するマイクロサービスの連携を考えてみたいと思います。 マイクロサービスは個々のサービスでチームが形成され実装が進められますが、サービス間やシステム全体についても目を向ける必要があります。例えば下記のようなポイントがあるかと思います。 サービス間通信（同期・非同期） サービス間での状態共有 システム全体の観測 部分稼働（障害部分のみ切り離してサービス継続） etc… 今回これらのポイントをアプリケーションに組み込まずに実現する手段

kubernetes活用のための第3回はTelepresenceを活用して疎通確認やテスト環境のデバッグなどを効率よく実施します。 1. はじめに Kubernetes上にシステムを開発する場合、マイクロサービスを採用するケースが多いと思います。（もちろんそうでないケースもありますが） 全体がマイクロサービス化されたシステムの１サービスを担当する場合、他サービスと接続しながらのデバッグやテスト環境上で発生している問題の確認など、ローカル環境だけでは実施が難しい場面にたびたび遭遇します。もちろん、ローカルに環境を再現したり、デバッグログを仕込んだイメージをテスト環境にデプロイして確認することも可能ですが、もう少し簡単に実施したいですよね。今回はそういった場合にローカル環境上で自身のアプリケーションを動作させながら、別の環境にあるクラスタと通信する方法を検証してみます。 本記事ではKubern

本連載ではKubernetesやマイクロサービスを活用するにあたりどんな準備を進めておけばいいか整理します。第2回は開発効率を向上させることができるSkaffoldを紹介します。 1. はじめに アプリケーションの開発においてKubernetesを活用する事により様々な恩恵を受けられる一方で、コンテナのビルドやレジストリへのイメージの登録など開発の手順は増えてしまいます。開発作業の中ですべての手順に手動で対応してしまうと、開発効率が悪く非常に面倒に感じることでしょう。連載2回目は、Kubernetessを活用したアプリケーション開発における問題を解決し、開発効率を向上させるSkaffoldを紹介します。 本記事では各技術要素（Kubernetes/Docker/Minikube等）の基本的な概要などについては記載しておりません。適宜各公式ドキュメントを参照してください 2. Skaffol