ECSメインにAWSサービスを利用してコンテナの運用設計を考えてみます。 コンテナの運用設計 ECS 上で稼働するWebアプリケーションを前提に運用の要件を考えてみます。 コンテナを使用したマイクロサービスの運用は、モノシリックなシステム運用とは少し異なります、以下の項目を運用項目としてピックアップします。 可用性/スケーリング CI/CD ロギング トレース モニタリング ECS/ECR のアーキテクチャ まずはECS/ECR のアーキテクチャについて触れます。 Amazon ECSはコンテナの作成、実行、停止といった管理をメインとしたサービスであり、Amazon ECRは Dockerのレジストリサービスとなります。リポジトリにあるイメージをプッシュしたり、イメージの保管等を行います。 全体的なイメージを以下のように理解をしています。 ECSの機能 まずECSです。 ECSは複数のエン

Amazon ECR とは コンテナのワークフローとレジストリの役割 コンテナをベースとしたワークフローを組んだ場合、「Build, Ship, Run」に基づき整理すると下記にようになります。 アプリケーションのソースコードとDockerfileというコンテナイメージを構築するためのファイルを用意し、イメージを作成していきます。 Dockerfileというのは、このファイル上にコマンドを記述することで、アプリケーションに必要なライブラリをインストールしたり、コンテナ上に環境変数を指定する役割を持ちます。 さて、ここで重要になってくるのはこのコンテナイメージを保存する先ですね。 そこで出てくるのが、レジストリと呼ばれるものです。 レジストリとは、コンテナイメージを保存するサービスで、Dockerレジストリを基点としてさまざまなプラットフォームにイメージを配布したり、利用者間でイメージを共有

様々なツールやサービスを繋げていく事は、全体像の把握がとても大事になってきます。 まず大きい流れを確認しましょう。時系列順に列挙すると以下となります。 ###アプリが自動でコンテナデプロイされるまでの流れ (0.TerraformでAWS上のリソースを定義) 1.RailsアプリをGithubにpush 2.CircleCIでCI開始 3.CIでDockerイメージをビルド 4.DockerイメージをECRへpush 5.ECSのTaskDefinitionを更新 6.CIでmigration 7.アプリがデプロイされる！ 画像に表すと、以下となります。 ざっくり各ツールの役割も解説すると ####terraform インフラストラクチャ定義ツール。 クラウド上のリソースを定義ファイルの状態になるように生成・操作してくれる。 画面上でポチポチやってたインフラの操作をコードにできる。 ###

メドピアマッスル部上腕二頭筋担当、CTO室 kenzo0107 です。 今回はメドピアの直近のプロジェクトで採用している Rails × ECS Fargate についてです。 直近プロジェクト 直近プロジェクトでは AWS ECS を採用しています。 2018年10月にリリースした スギサポ deli は、メドピアで Fargate 初採用となったプロジェクトです。 スギサポ deli とは？ sugisapo.ws 病気で食事制限が必要な方やシニアの方々、より健康な食生活を目指す方など、誰もが美味しく召し上がれるお食事をお届けするサービスです。 「食事制限」 と聞くと、簡素な食事をイメージされる方もいらっしゃると思いますが 一度見て頂くとお分かりの通り、かなりバラエティに富んだ内容となっており、目にも美味しい品々が並んでおります。 是非一度お試しいただければ幸いです♪ 今回お話ししたい

「いったい、どれつかったら良いねん…」 2018年12月20日、遂に東京リージョンにEKSがやってきました。これにより、AWSにおいてコンテナを本番運用するための選択肢はさらに広がりました。 ただ、選択肢が広がったことで、どれが自分の組織に最適なのか悩まれるお客様も増えています。 このセッ…

関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーションレイヤに関して言えば、Twelve Factor Appが参考になる。コンテナ技術とも親和性が高い。 ECSとBeanstalk Multi-container Dockerの違い 以前に記事を書いたので、詳しくは下記参照。 Dockerコンテナデプロイ

このエントリはRails developer meetup 2017で発表した内容をブログとして書き出したものです。 サンプルのスニペットが多いので資料の代わりにエントリとして公開します。 スライド用のmarkdownを元に起こしたものなので、少し読み辛いかもしれませんがご容赦ください。 ECSとは Dockerコンテナを稼動するためのクラスタを管理してくれるサービス 使えるリソースを計測し、自動でコンテナの配置先をコントロールしてくれる kubernetesではない。最近、kubernetesが覇権取った感があって割と辛い 今はEC2が割とバックエンドに透けて見えるのだが、Fargateに超期待 ECS or EKS :tired_face: RailsアプリのDockerize オススメの構成 実際にデプロイするimageは一つにする 例えばstagingやproduction等のデプ

おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの？ ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現在お手伝いしているアカウンティング・サース・ジャパンにて、ECSを使ったDockerの本番運用を始めたので、その一連の流れについてまとめました。 税理士向け会計システムを扱うアカウンティング・サース・ジャパンでは最近Scalaでの新規プロジェクトが立ち上がってきており、既存のプロジェクトはJavaであったり、Erlangであったりと様々な言語が用いられていますが、インフラ人員が少ないということもあり、なるべくシンプルなインフラ構成を実現する必要がありました。 そういった中、各アプリケーションをDocker化することでインフラ

github.com 最近Hakoを使い始めたのでノウハウをためていく Hakoとは?? Dockerコンテナをデプロイするためのツールです Hakoがうまれた背景はECS を利用したデプロイ環境 by Kohei Suzukiによると ECSを利用しつつ、秘匿値の注入や関連するリソースや設定を操作するデプロイツールが必要 だったからだそうです 今回のHakoの使い方 Dockerコンテナをデプロイする hako deployの他に hako oneshotというECSのRunTaskAPIを呼び出し単発の実行を行うものがあるのですが、今回はこのhako oneshotを使います 今回試すものとしては 実行中のログをCloudWatch Logsになげる 秘匿値の管理方法 の2つを確認していきます なお今回ECSのクラスター名はtest-clusterというものを使用したとします 実行中の

構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) 本記事ではECS-optimized AMIを使った構築を前提とし、つまずきやすいポイントにフォーカスしてECS+ALB構成でのベストプラクティスをご紹介します。

技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを

みなさん，Docker使ってますか？ 開発環境に導入する話はよく聞きますが，本番Dockerで運用してますか？ 本番をDockerにする上で障壁になりそうなホットデプロイ． 普段，コンテナではなくインスタンス上で直接サービスを動かしている限り，そこまで苦労はしていないんじゃないだろうか． たとえば，Railsであればunicornなどは，graceful restartに対応している． そのため，デプロイの際にサービスを止めずにデプロイすることができるのは，当たり前のことに思える． しかし，Dockerとなると，ポートという障壁が出てきて，一筋縄ではいかない． ECSのような楽な解決方法がある一方で，Docker swarmを使うようなシーンでは，やはり一筋縄ではいかないのではないだろうか． お題 本番にDockerを導入するにあたり，以下のような環境を前提として試していた． 中に入れるの

2016/06/03 AWS Summit Developers Conference DevCon-Use Case Track

実際には、まだ本当の本番環境では運用できてなくて開発用のステージングで運用が開始できたぐらいで、他にもやること一杯あるんだけど、ある程度知見が溜まったのでまとめておく。 ちなみに、規模はそんなに大きくないがデータ量は多いアプリケーションで運用環境はAWSのECSを想定しており、現時点で普通のEC2ノードとコンテナで並行稼動している。 docker-swarmなりで自前でコンテナプールを構築してもいいのだが、そうするとサービスディスカバリとか考えなければいけないことが増えるので、後回しにしている。 (注: かなりサービス固有の事情が含まれるため、もし参考にされる方が居たとしても、そのままの形では適用できない可能性が高い) 追記: RailsアプリのためのDockerfileとdocker-compose.ymlのサンプル - Qiita コンテナ化のモチベーション CentOSのお守りからの

ども、かっぱです。 tl;dr 考察シリーズ第三弾。 hakobera.hatenablog.com 上記の記事で紹介されていた「AWS ECS + Docker + Locust による負荷テスト」について、どんな風に実現するんだろうなあとずーっと気になっていたので、自分なりに ECS + Locust な負荷試験環境を考えてみたのでメモ。 メモ こんな感じになった（ゴール） ソースコードとか github.com 何をする必要があったのか Locust Master と Locust Slave をそれぞれ異なるタスクに分割する 同一の ECS クラスタに Master と Slave を個別にデプロイする コンテナインスタンスを跨って Locust クラサバ構成を構築する必要があったので etcd や Consul にお出まし頂いた（結局は Consul を採用した） 困った点 Do

2015/11/20 JAWS-UGコンテナ支部 #3 #jawsug_ct

2015/07/27 JAWS-UGコンテナ支部 #1