SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア

Amazon ECS でのコンテナデプロイの高速化 この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション

Containers NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 Today, we are announcing the ability for all Amazon ECS users including developers and operators to “exec” into a container running inside a task deployed on either Amazon EC2 or AWS Fargate. This new functionality, dubbed ECS Exec, allows users to either run an interactive shell or a single command agai

成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。

はじめに ご無沙汰しております。 最近は多忙でブログ書けていませんでしたが、今回は事例紹介やプラクティスのご紹介ではなく、re:Invent2020のAndy Jassy's Keynoteで発表されたAWS Protonというサービスについて、サービス概要や使い方、メリットなどをご紹介できればと思います。 最初サービス内容を聞いたとき、僕自身も「？？？」な状態だったので、同じように疑問をお持ちの読者の皆様へ理解の助けになればと思います。 注意事項 本ブログは2020-12-02時点の情報になります。 また記載時点ではAWS Protonはパブリックプレビュー状態であり、GA時に内容が変わる可能性がある点だけご留意いただければと思います。 AWS Protonとは？ 誤解を恐れずに言ってしまえば、コンテナやサーバーレスアプリケーションからなるサービス構成を「統一的に管理・運用」するためのサ

こんにちは、スタディサプリENGLISH SREグループの横山です。 以前の記事1) スタディサプリENGLISHの基盤をECSからEKSに移行しましたにあるように、先日ついにスタディサプリENGLISHのインフラ基盤をECSからEKSに移行することができました。 本記事では、このEKS移行に伴いAWS App Mesh(以下、AppMesh)の導入をしたので、これに関連した話を書いていきたいと思います。 なぜAppMesh導入を検討し始めたか インフラ基盤がECSだった頃、gRPCの負荷分散にEnvoyとAmazon ECS Service Discoveryを利用していました。この構成については以下の記事に詳細があります。 EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散 この構成にした当初は、デプロイ時にECS Serviceのローリン

急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第5回はKyashでSREを担当する上原佑介氏が担当、テーマは「セキュリティ」です。記事の最後には、SAによるポイント解説もあります。（編集部） はじめに 株式会社KyashでSREを担当する上原佑介と申します。新卒でインフラエンジニアとしてサーバー構築・運用を経験したのち、Webサービスの運営企業を数社経て、Kyashへ入社しました。現在はサービス全体の信頼性向上を目指して、システム基盤や運用面の改善に取り組んでいます。 Kyashについて Kyashはスマートフォンアプリと連動するVisaカードです。 コンビニなどから現金をチャージして使え

要約 GitHub Actions に Amazon ECS デプロイツール ecspresso と AWS Lambda デプロイツール lambroll を簡単にインストール action を用意しました。 steps で以下の指定をするだけです。(Linux 環境専用です) - uses: kayac/ecspresso@v0 - uses: fujiwara/lambroll@v0 もうちょっと詳しく これまで GitHub Actions の action は基本的に Node で書く必要があったのですが、やりたいことはバイナリをダウンロードして展開してコピーするだけなのになんで Node を書かないといけないのか……(Linux以外の環境を考えると仕方ないとはいえ)、と面倒くささが先に立って、これまで action を作らないままでした。 が、先日 Composite Run

こんにちはコカコーラ大好き、カジです。 7/3に行われたDevelopers.IO 2020 Connect で、「基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築」というタイトルで、お話しさせていただきました。 ライブに来ていただいたみなさま、ありがとうございました！ お客様や自社の開発部門から、急に「次のシステムはコンテナ使いたい」と言われ、コンテナ実行環境を構築しなければならない状況に直面し、慣れない部分が多いと思います。 AWSにはコンテナ向けのサービスは複数あり、少人数でも運用しやすいのがECS Fargateです。そんなECS Fargateを中心に、実用的なコンテナ実行環境をどのように構築すれば良いのかについて解説しました。 目次 なぜコンテナ? なぜECS Fargate? AWSコンテナ関連サービス コントロールプレーンのざっくり比較 データプ

AWSにおけるコンテナワークロード運用のデファクトスタンダードの地位を確立したECS。 デプロイ方法も進化を続け、CodeDeployとALBで連携したB/Gデプロイやカナリアリリースにも対応し、そのデプロイにおける柔軟性はEKSに勝るとも劣りません。 そんなECSですが、手段が豊富になったこともあり現…

はじめに こんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。 ログの送信先としては、主にPapertrailというサービスを使用しています。 しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。 そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。 このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな

AWS上のコンテナはネットワークをどう利用するのか？ ポート番号の扱いとDNSの仕組みを中心に AWS、そしてネットワークの基礎知識は、なんらかのサービスを開発する際に不可欠なものです。本稿では、コンテナを利用してWebアプリケーションを開発するとき、Webアクセスはどのような技術を用いて成り立っており、どういったことに注意する必要があるのか、といった入門的情報をAWSに務める菊池之裕さんに説明してもらいました。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン株式会社でシニアソリューションアーキテクト ネットワークスペシャリストを務めております、菊池之裕と申します。私は普段、ネットワークに関連したお客さまの技術的な導入支援や課題解決などの業務に従事しています。 読者のみなさんは、ネットワークについての基礎知識をどれくらい持っていらっしゃるでしょうか？ 普段、主にWebアプリケー

追記: GoのアプリケーションをOpenMetricsを使ってObservableにする方法については別エントリを書きました。 → https://songmu.jp/riji/entry/2020-05-18-go-openmetrics.html ECSとGoで運用しているシステムに対するDatadogの日本語知見があまり無さそうだったので書いてみる。ちなみに以下の環境です。 ECS on EC2 (not Fargate) アプリケーションコンテナのネットワークモードはbridgeモード 動的ポートマッピングも利用 背景として3月にNature Remoのインフラアーキテクチャ改善をしていて、その前にもうちょっと監視を整えたほうが良いな、ということでDatadogを導入したのがある。テストがないとリファクタリングできないように、監視がないとアーキテクチャのアップデートもやりづらいとい

REALFORCEのMacテンキーレス版、US配列(！)が2019/12/12より発売するとのことで、首を長くして待っているもこ@札幌オフィスです。 つい先月GitHub ActionsがGAし、GitHub単体でお手軽にCI/CDができるようになっています。 あまり触れられていない気がしますが、AWS公式からもGitHub Actionsをいい感じに使えるテンプレートが公開されていますので、今回はこのテンプレートを使ってFargate環境にデプロイして行こうと思います！ Amazon Elastic Container Service で複数の GitHub Actions が公開 テンプレートから作成していく 早速やっていきましょう。 リポジトリ > Actions からDeploy to Amazon ECSを選択します。 こんな感じでテンプレートが作られるので、右上からMaster

Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021

AWS Startup ブログ スタートアップ企業への Kubernetes 導入に必要なこと – Kubernetes エキスパートとコンテナスペシャリスト SA が考える適切な活用法 オープンソースのコンテナオーケストレーションシステムである Kubernetes は、いまや多くの企業が導入する技術となりました。デプロイ・スケーリングの自動化や、コンテナ化されたアプリケーションの統合的な管理を行ううえで、利便性の高い機能を提供してくれます。 ですが、Kubernetes　の適切な活用方法については、模索を続けているエンジニアがほとんどです。とりわけ、人も時間も限られているスタートアップ企業においては、「限られた人的・時間的リソースのなかで、どう Kubernetes を利用すべきか？」「そもそも、自社に Kubernetes を導入した方がいいのか？」と思い悩んでいる方は多いのではない

【コンテナのデプロイを簡単にしませんか？】ECSのデプロイツールである「ecspresso」を触ってみた こんにちわ、札幌のヨシエです。 先日のAWS DevDay Tokyo 2019は自分も参加出来て本当に勉強になりました。 今回は発表された複数セッションで度々登場した「ecspresso」が気になったので使用感を知りたく触ってみました。 ecspressoとは？ 面白法人カヤック様から提供されているGo製のECSデプロイツールです。 kayac/ecspresso 読み方は「エスプレッソ」というようです。 インストール方法(macOSのみ) brew install kayac/tap/ecspresso 確認バージョン % ecspresso version ecspresso v0.11.1 ECSサービスのコードエクスポート 最初にやることとしてecspressoで管理出来る設

Amazon ECSやKubernetesなど、コンテナオーケストレーションプラットフォームにおけるコンテナの監視にはmackerel-container-agentが利用できます。 特徴 mackerel-container-agentにはつぎのような特徴があります。 コンテナオーケストレーションプラットフォームを対象とした専用の監視エージェントです Dockerイメージで提供します タスク(ECS)やPod(Kubernetes)を監視します タスク/Podのサイドカーとして実行します タスク/Podをホストとして扱い、サービス、ロールを割り当てることが可能です エージェント終了時に自動退役します 以下に挙げるものはmackerel-container-agentにおいて監視対象外となります。 コンテナホストの監視 コンテナホストのCPUやメモリ、ネットワークなど コンテナオーケストレ