概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的

CTO室SREの@sinsokuです。 Dockerイメージのビルドを高速化するため、試行錯誤して分かった知見などをまとめて紹介します。 AWSのインフラ構成 assetsもECSから配信し、CloudFrontで /assets と /packs をキャッシュする構成になっています。 Rails on ECS デプロイ時にassetsが404になる問題 以前の記事に詳細が書かれているため、ここでは問題の紹介だけしておきます。 Rails等のassetsファイルをハッシュ付きで生成し配信するWebアプリケーションの場合、ローリングアップデートを行うと、アップデート時に404エラーが確立で発生してしまいます。 引用: メドピアのECSデプロイ方法の変遷 Dockerfile 実際のDockerfileには業務上のコード、歴史的な残骸などが含まれていたので、綺麗なDockerfileを用意しま

こんにちは！スマートキャンプの21卒の内定者としてエンジニアインターンをしている関口です！ 私はBOXIL開発チームに所属しており、現在BOXILのインフラ基盤をAWS EC2からAWS ECS/Fargateへ移行するプロジェクトを行っています。 この記事ではそのプロジェクトを通して得た技術的な知見を共有していきます。 移行前、移行後のインフラ基盤の紹介 ECSとFargateの概要 基盤構築の際に詰まったこととその解決策 Fargate運用することの課題 Fargateのコンテナへログインするための概要 具体的なコンテナログインのやり方 amazon-ssm-agent、AWS CLIのインストール アクティベーションの作成、コンテナのマネージドインスタンスへの登録、SSMエージェントの起動 おわりに 移行前、移行後のインフラ基盤の紹介 現在のBOXILのインフラ基盤はEC2で運用が行

AWSにおけるコンテナワークロード運用のデファクトスタンダードの地位を確立したECS。 デプロイ方法も進化を続け、CodeDeployとALBで連携したB/Gデプロイやカナリアリリースにも対応し、そのデプロイにおける柔軟性はEKSに勝るとも劣りません。 そんなECSですが、手段が豊富になったこともあり現…

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、CodeBuildでのECSデプロイについて書いてみました。 普段、TravisCIを使ってメインサービスのECSのデプロイを行っているのですが、新規開発するにあたりCodeBuildを使ったECSのデプロイを組んでみたのでその内容をまとめています。 内容はざっくり下記4項目について書いてます。 CodeBuildのみで行うECSへのコンテナデプロイの構成図 他のCIサービスと比べた時のCodeBuildの良さ CodeBuildの設定でハマった点 デプロイフロー CodeBuildのみで行うECSへのコンテナデプロイの構成図 CodePipelineを使ったECSへのデプロイをする選択肢もあるのですが、これだと運用フローに大きく変更が入るので今回は、現在使っているecs-deploy を使ったECSデプロイを移植する形

All slide content and descriptions are owned by their creators.

2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、

先日、AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめというタイトルでECS/Fargateを本番運用するための構成とデプロイについての記事を書き、HiromuMasuda/ecs-deployというデプロイ用のスクリプトを公開しました。 すると、ECS/Fargateを用いた時のカナリアデプロイの手法が意外と話題になったため、前回は簡単に紹介してしまったカナリアデプロイを、今回は少し首を突っ込んで紹介したいと思います。 アーキテクチャ全体像 全体像はこちらです。 ECS/Fargateってなんだ？という方や、まだ全記事を読んでない方はまずはこちらを見てください。 AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ カナリアデプロイをECSで実現する service内でtaskが2台動いている状態から、カナリアデプロイをして33

はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro

モバイルアプリエンジニアの山下（@yamshta）です。 今回は、AWSの以下のサービスを用いてコンテナデプロイ基盤の構築を試してみました。 CodePipeline CodeBuild ECR ECS Fargate AWSのドキュメントは丁寧で情報も豊富ですが、サービス毎に手順が書かれているため一連の流れをまとめました。CLIでの操作のみで手順を進めています。 なぜアプリエンジニアがデプロイ基盤を構築するのか 疑問に思った方もいらっしゃると思うので手短に書かせていただきます。 LCLのエンジニアチームはスペシャリスト集団というよりはゼネラリスト集団に近く、特定の技術に縛られない文化とそれを推奨する環境になっています。そのため、メインに扱う技術力も伸ばしながらも別の技術を習得することができます。 今回の経緯ですが、私個人としてはインフラには興味がありませんでした。しかし、Dockerは環

「コンテナ導入ってどこからやったらいいんやろう…」 Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。 アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいきません。その辛さを乗り越えて「もっと多くの人にコンテナを活用してもらいたい」という想いを、このセッションに込めました。 AWSは利用しているがアプリケーションをコンテナ化するメリットがあまり感じられない人や、コンテナに関する情報量が多く

はじめに Amazon ECS(Amazon Elastic Container Service)を案件で使うことになったので勉強中です。触り始めた時に入門系の記事が少ないなと思ったので、できるだけ簡単に構築できる手順をまとめました。Dockerは触ったことあるけど、ECSは触ったことがない方が対象です。 構築してみる タスク定義の登録 まずはManagement ConsoleでECSの画面を開いて、左のタスク定義から新しいタスク定義を作成します。複数のコンテナをグループにしたものをタスクとして定義します。タスク単位でCPUやメモリの割り当てを行います。 タスク定義名を入力したら、コンテナを設定します。 赤枠の部分を入力します。イメージは公式のhttpdイメージを使っています。これは docker run するとフォアグラウンドでhttpdを実行するDockerイメージです。メモリ制限は

そこで、開発環境やステージング環境は可用性を妥協できるのでSpot Fleetで安いお値段で強いインスタンスをたてるという方針にして、これでインスタンスの個数を大分減らすことができました。 対応策2: ALBのルールベースの振り分けを使う ECSのサービスは基本的にロードバランサーがないと使えない仕組みになってます。『基本的』と言ったのは、なくても動くっちゃ動くという意味です。ただし、動的ポートマッピングされたコンテナのヘルスチェックやサービスディスカバリなど、現状ロードバランサーがやってくれることを自分でこなす必要があります。 ECSで運用する場合、通常httpやhttpsで通信するサービスはL7のロードバランサーであるALBを使うわけですが、今まではALB : ECS service = 1 : 1の関係で作っていました。しかしこれでは、apiやadminみたいなサービスが増えるたびに

マリオカートでカーブを曲がるときに体を傾斜させてしまうCTO室 kenzo0107 です。 今回は 2018/04/02 にリニューアルしたイシコメの Rails × ECS についてです。 イシコメとは？ 「イシコメ」は、医師10万人の声でつくるヘルスケアメディアです。 医師と一般の方々をつなげることで、医療情報格差を埋めることを目指しています。 MedPeerの10万人の医師会員に協力いただいたアンケート結果をもとに編集部で記事を執筆し、医師監修の上で配信。多くの医師の声を反映することで、より正しい情報を提供しています ishicome.medpeer.jp リニューアル経緯 リニューアル前は以下のような構成でした。 フロントに Laravel 5 バックに Drupal Docker on EC2 コンテナイメージの S3 でのプライベート管理 Docker がまだ出てきて間もない頃

はじめに Dockerを本番環境で利用するに当たり、私レベルではDockerのクラスタを管理することはなかなか難しい訳です。凄くめんどくさそうだし。 ということで**AWS ECS(EC2 Container Service)**ですよ。 記事書くまでも無いかなと思ったんですけど意外と手順がWEBにない（気がしました）。ということで、今回は社内でハンズオンでもやろうかと思って細かく書いてみました。 こんな感じのシナリオをやってみたいと思います。 Dockerのイメージを用意する ECSの使い方の基本 コンテナのリリース Blue/Green Deployment AutoScaling/ScaleIn 前準備：Dockerのイメージを用意する DockerhHub上にpush済ですので、そのまま使って動かしてみましょう。 push済のコンテナは8080で起動しますので80にポートをマッピン

Amazon EC2 Container Registry(ECR)でECS/Elastic BeanstalkのDockerイメージをホストする(1/12アップデート) 2016/01/12 Elastic Beanstalkの部分をアップデートしました。 ども、大瀧です。 1週間ほど前に、Dockerレジストリサービス Amazon EC2 Container Registry (以下ECR)がリリースされました。今回は、AWSでDockerを扱う2サービス ECS(EC2 Container Service)とElastic BeanstalkでECRを利用する手順をご紹介します。 とりあえず動かしてみる ECSのFirst Run画面が更新され、サンプルのECSクラスタに加えてECRリポジトリがサクッと作成できるようになったので試してみます。ECRは現時点ではバージニアリージョンで

コンニチハ、最近Dockerを沢山使っている千葉です。今回はDockerを使った継続的インテグレーションやデプロイを試してみました。 継続的インテグレーションは一度導入すると破壊力抜群でとても効率的な開発ができるようになるため、これを機会に試してみたいと思います！ CircleCI+ECS+ECR環境を使ってDockerコンテナを継続的デプロイする環境を作ってみました。初めての方でも雰囲気つかめるように、ECR,ECSのセットアップからCircleCIのセットアップまで一通りやろうと思います！ 動作としては以下のようになります。図にするとこんな感じです。 GitHub上にECRへのデプロイ用のシェル、CircleCI用の設定ファイル、Dockerfile、コンテンツ(index.html)をpushする GitHubへのpushをトリガーに、CircleCI上でDockerfileよりコン

(2020/12/26 加筆修正：CentOS6が終了しyum update利用不能となったためAmazonLinuxコンテナへ変更。その他現行環境へ対応しました） ECR とは AWSのマネージドサービスなdocker互換コンテナレジストリです。(EC2 Container Registry) デフォルトでは自アカウントのみアクセス可能になっており、外に置きたくないコンテナイメージをAWS内で管理するのに適しています。 今回は、Webサーバコンテナを作成してECRレポジトリに登録し、ECSクラスタでWebサービスを構築します。 コンテナを強制停止しても自動的に新しいコンテナが起動し、サービスが継続されることを確認します。 みんな大好きAWSCLIでやってみましょう。 前提条件 2013年12月5日以降に作成したアカウントであること。これより古いアカウント（デフォルトVPCが存在しないクラ