LINEの大規模なインフラを支えるクラウドプラットフォームエンジニアが所属しているチームの役割、仕事内容、ふだんの働き方、現在の課題について取り組みの事例を交えてお話しする「LINE クラウドプラットフォームエンジニア採用説明会」。ここで登壇したのはVerdaプラットフォーム開発KチームのPickel氏。チームでKubernetesクラスタを開発する理由と、現在の状況について話しました。こちらは、英語でのプレゼンテーションを同時通訳した音声の書き起こしとなります。 国際色豊かなVKSチーム Pickel Christopher氏：私はクリス・ピッケルです。私はLINEのVerda Departmentで、シニアソフトウェアエンジニアです。京都オフィスに所属しており、入社して4年になります。 日本で自己紹介する時、「私のことはこういうふうに覚えてください」と言います。ピクルスではなく、ピッケ

Amazon Web Services（AWS）は、オンプレミスのサーバ上にAmazon EKSと同等のKubernetes環境を構築できるソフトウェア「Amazon EKS Anywhere」が、ベアメタルサーバに対応したことを発表しました。 Amazon EKS Anywhereは、2021年9月にリリースされたソフトウェアです。 参考：Amazon EKS Anywhereが正式リリース。オンプレミスにAmazon EKSと同様のKubernetes環境を無料で構築可能 AWSのクラウド上でKubernetesによるコンテナオーケストレーション、ノードプロビジョニング、Kubernetes自身のパッチ適応や更新、統合的な管理コンソールなどをマネージドサービスで提供する「Amazon Elastic Kubernetes Service（Amazon EKS）と同等の環境を、VMwar

Early-stage startups shouldn't run on Kubernetes yet. But eventually, growth-stage and large companies should be running on Kubernetes in some form. Kubernetes Maximalism doesn't mean one-size-fits-all. Infrastructure should progressively grow with your workloads and team. How can you choose the right technology now so that you can maximize growth and minimize pain later when you inevitably outgro

はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto

KubernetesのノードとしてWebAssemblyランタイムを用いる「Krustlet」、CNCFのサンドボックスプロジェクトに申請 オープンソースとして開発されている「Krustlet」は、KubernetesのノードとしてDockerコンテナではなく、WebAssemblyのランタイムを用いることができるようになるソフトウェアです。 Krustletは、KubernetesのノードエージェントであるKubeletとして振る舞い、自身をKubernetesのノードとして登録します。すると、WebAssemblyアプリケーションをPodとして実行できるようになるのです。 つまり、OS上のサンドボックスとしてDockerコンテナを用い、そのなかでWebAssemblyランタイムを実行するのではなく、WebAssemblyをOS上のサンドボックスとして用いる、ということです。 これにより

InfraStudy 2nd #2 の発表資料です

ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや

追記: Kubernetes側での公式のアナウンスが2本出ているのでこちらも合わせてご覧ください。 kubernetes.io kubernetes.io Kubernetesコミュニティを眺めていたら、やたらめったら色んな人達が1.20 RCのリリースノート引っ張り出して「Dockerが非推奨になるからちゃんと対策を検討してね！！！」とアナウンスをしていて、挙げ句SIG Contributexではその対策に追われてバタバタしている自体を観測しました。 CNCF Ambassador Slackでもだいぶ燃え上がっていて、見かねて dev.to に記事を投稿したのでそれをかんたんに日本語にまとめてみようと思います。英語のほうはこちらをご覧ください。 dev.to 追記2. 影響範囲を知りたい場合はまずこちらをお読みください blog.inductor.me 追記2. 影響範囲を知りたい場合

1. エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned September 24th, OPENSHIFT.RUN 2020, Daiki Kawanuma 3. エンタープライズにおける Kubernetes 導入あるある Kubernetes 導入のモチベーション • リソースの抽象化 Declarative Configuration • 自己回復性 Self Healing • 自動スケーリング Auto Scaling https://www.datadoghq.com/ja/container-report/ ビジネスのアジリティーを高めること Kubernetes の本質的な価値 For instance, average container lifetimes exceed 30 days in 3 percent of K

最初に お仕事で「Kubernetesはいいので、次のプロジェクトで使いたい」と言うと 「何がいいんですか？」とか「何ができるの？」とか聞かれてうまく答えれない事がまぁまぁあったので自分なりにKubernetesがなぜ生まれたのか、なんで使いたいのかと何ができるかをまとめてみた リソース調達の歴史から見るKubernetesが現在の地位につくまで リソース(アプリケーションを動かすためのサーバなど)調達の視点から、Kuberenetes誕生までを見ていきます。 物理サーバを調達する時代 原初のアプリケーション開発では、アプリケーションを開発してキャパシティを予測して、リソース見積もりを行い、サーバ購入を行っていました。 この方法では以下のような課題がありました。 リソースを用意するのに、数週間から数ヶ月かかる サーバを注文してから、到着するまでの時間もかかりました。 またその前のリソース見

Docker MeetupとかCloud Native Daysの運営をしながら、無限にスケールするインフラはないかなって、日々もやもやと考えています。 さっそく本題に入っていきましょう。 コンテナってそもそも何ですかっていうと、まず「chroot」というLinuxの機能があって、これはrootディレクトリを特定のディレクトリに切り替えて、そこから下を別のファイルシステムとして確立する、といった技術です。 そこに対して「namespace」という機能で、ユーザー、プロセス、ネットワークを個別に割り当てて、さらにリソースにも制限をかけると、まるでVM（仮想マシン）のように動いて面白いね、というのがコンテナですよ、という説明はよくされると思います。 これを図にしました。 まず、対象のディレクトリに対して「pivot_root」という機能を使ってファイルシステムのルートを作ります。 そのうえで「

Kubernetesを40MBのシングルバイナリとした軽量ディストリビューション「K3s」がCloud Native Computing Foundationのサンドボックスプロジェクトに採用 Rancher Labsは、Kubernetesを徹底的にスリムダウンして40MBのシングルバイナリに納めたKubernetesのディストリビューション「K3s」（ケースリーエス）が、Cloud Native Computing Foundation（CNCF）のサンドボックスプロジェクトに採用されたことを明らかにしました。 #K3s -- the lightweight #Kubernetes distro -- has joined the @CloudNativeFdn as a Sandbox Project https://t.co/Z7ghjwDgYx @ibuildthecloud @

Kubernetesを自動車に載せるというデンソーの発表事例を紹介した6月の記事「Kubernetesを自動車に載せる、デンソーが「Misaki」を発表。年内にもオープンソースとして公開」は多くの読者に読まれました。 このデンソーの発表の中で、（記事では省略していますが）先行事例として米国防省がKubernetesとIstioをF16ジェット戦闘機に載せたことが触れられています。 これは2019年11月にサンディエゴで行われたイベント「KubeCon＋CloudNativeCon North America 2019」で行われたセッション「How the Department of Defense Moved to Kubernetes and Istio」で紹介されたものです。 セッション中では国防省がコンテナとKubernetesを基盤にCI/CDに取り組んでいること、MVP（Mini

ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ

スマートキャンプ、エンジニアの入山です。 弊社で技術的挑戦の意味も込めて始めたKubernetes（k8s）も、小規模ながら運用を開始して1年以上が経ちました！ 現在では、k8sでのインフラを採用したプロダクトが無事に本番リリースを迎え、ユーザーが本番稼働を行うまでになっており、躓きながらも少しずつ運用知見が溜まってきています。 今回は、k8sを実際に運用してわかった３つの知見を紹介したいと思います！ PodのNode配置が偏る 解決策 ローリングアップデート時にダウンタイムが発生する 解決策 Pod削除時にコンテナによってプロセスが終了するタイミングが異なる 解決策 最後に PodのNode配置が偏る k8sではPodを新規作成する場合に、kube-schedulerが各ノードのリソース使用状況等から判断した最適なNodeへスケジューリング（配置）を行います。 しかし、このスケジューリン

プラットフォームの上でものを作るということ Amazon EKS Advent Calendar 2019 の最終日です. みなさまご存知の通り、AWS には Amazon ECS と Amazon EKS という2つのコンテナオーケストレーションに関するサービスがあります. ECS は2014年に発表された AWS ネイティブなコンテナオーケストレータ、EKS は OSS のコンテナオーケストレータである Kubernetes をマネージドな形で提供するサービスで、2017年に発表されました. 今日はこの Amazon ECS と Amazon EKS という2つのサービスについての話を書こうと思います. // 読んでくださっているみなさまをミスリードしないための DISCLAIMER 本記事の著者は AWS に勤めています. また、この記事には僕個人の意見や想いも強くこもっています.

Kubernetes・Knativeを用いたプライベートクラウドの実装 たった5人で130クラスタ、2,000超ノードを開発・運用する仕組み Cloud Native Challenges in Private Cloud with K8s, Knative #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Cloud Native Challenges in Private Cloud with K8s, Knative」に登