こんにちは！リクルートライフスタイルの共通クラウド基盤でリードクラウドアーキテクトをしている須藤です。 この記事は AWS Advent Calendar 2018 の2日目の記事です！( リクルートライフスタイル Advent Calendar 2018 2日目の記事でもあります) リクルートライフスタイルの共通クラウド基盤では、サービスごとにアカウントを払い出して、サービス開発者がその環境を構築する、というスタイルです。クラウドアーキテクトチームはCCoE(Cloud Center of Excellence)であり、TerraformやFargateを使いたい、という開発者に対しては、ペアプログラミングやアーキテクチャレビューなど、規範的・助言的な活動を通して成長しあっていく、という活動をしています。 当然、re:Invent 2018で発表された トランジットゲートウェイ や AW

Amazon Elastic Container Service (Amazon ECS) は今回、新しいデーモンスケジューリングストラテジーを導入し、ECS クラスター内で選択したインスタンスセット内のインスタンスすべてに対してデーモンタスクを自動で実行できるようになります。 デーモンタスクとは、ロギング、モニタリング、またはアプリケーションコードを実行するタスクのバックアップのような共通サポート機能を付与するために、クラスター内のそれぞれのインスタンスにタスクがデプロイされたマイクロサービスをビルドするときに使用されるパターンのことです。 これまでは、これらを確保するために、デーモンタスクは Auto Scaling テンプレートに結び付いた複雑なスクリプトの実行を要するクラスター内のインスタンスセットにデプロイされていました。ユーザーは代わりに各アプリケーションタスクの一部としてデー

Amazon Web Services ブログ Amazon ECSとKubernetesの統合サービスディスカバリー 本日（訳注：2018年5月31日）から、Amazon Elastic Container Service（Amazon ECS）およびKubernetesによって管理されるサービスの統合サービスディスカバリーを活用することができます。私たちは最近、Amazon Route 53 Auto Naming（オートネーミング）APIを使用してサービス名のレジストリを作成および管理することにより、コンテナ化されたサービスの発見と相互接続を容易にするECSサービスディスカバリーを導入しました。サービス名は、一連のDNSレコードセットに自動的にマップされます。これにより、コード内でサービスを名前（backend.example.comなど）で参照可能となり、実行時にサービスのエンドポ

AWS Open Source Blog Running AWS Fargate with virtual-kubelet 中文版 AWS Fargate is a new compute engine that allows you to run containers without having to provision, manage, or scale servers. Today, Fargate is natively integrated with Amazon Elastic Container Service (ECS). Since we announced Fargate at re:Invent 2017, many customers have told us that they were very interested in using Fargate to r

Amazon Elastic Container Service (Amazon ECS) に統合サービスディスカバリーが加わり、コンテナ化したサービス同志がディスカバー、接続しやすくなりました。 以前は、サービスが互いにディスカバーして接続できるように、独自のサービスディスカバリーシステムを構成して実行するか、すべてのサービスをロードバランサーに接続する必要がありました。現在は、ECS コンソール、AWS CLI、または ECS API を使用して、コンテナ化したサービスのサービスディスカバリを簡単に選択できるようになりました。 Amazon ECS は、Route 53 Auto Naming API を使用してサービス名のレジストリを作成および管理します。名前は自動的に一連の DNS レコードにマップされるので、エイリアスでサービスを参照し、このエイリアスを実行時に自動的にサービスの

今後は、Amazon ECS コンソールから直接、コンテナ化したサービスに対するターゲット追跡ポリシーを使用して、サービス Auto Scaling をセットアップできるようになりました。ターゲット追跡で「Average CPU Utilization」、「Request Count Per Target」など、サービスのロードメトリックを選択する場合は、ターゲット値を設定することで、Auto Scaling がターゲット値を保持するためにサービスの稼動タスクの数を調整します。 以前は、ステップの拡大ポリシーを使用して Amazon ECS を自動的に拡大することができましたが、それには、スケーリングの調整をトリガーするメトリックスで CloudWatch アラームを作成および管理する必要があります。

みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Amazon Web Services ブログ Amazon ECRのライフサイクルポリシーでコンテナイメージのクリーンアップ 本日よりAmazon EC2 Container Registry (Amazon ECR)で利用可能になったライフサイクルポリシーを使うことで、古い又は使われていないイメージを自動的に削除することで、コンテナイメージのレポジトリをきれいに保つことができるようになりました。 Amazon ECRはフルマネージドのDockerコンテナレジストリで、同時に何百ものプルを捌くための典型的なスケールの問題を心配することなく、Dockerコンテナイメージを保存し管理しデプロイすることができます。スケールの意味する所として、Amazon ECRを活発に利用している開発チームはしばしばたくさんのコンテナイメージのバージョンによってレポジトリが埋め尽くされていることを発見すること

こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。　※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基

Helps visualize the resource reservation of Amazon ECS clusters. Deploying software as “containers” promises to solve many problems with regards to interoperability of environments, speed to deploy, and cost reduction. But understanding where our software lives now becomes more difficult both for development and operations teams. This is due to the fact that it is quite laborious to find the infor

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 関連記事 マイクロサービスを支えるインフラアーキテクチャ (AWS Dev Day 2019登壇資料) ECSデプロイツールを公開しました ECSにおけるログの取り扱いを別ページに移動させました 設計 基本方針 基盤を設計する上で次のキーワードを意識した。 Immutable infrastructure 一度構築したサーバは設定の変更を行わない Infrastructure as Code インフラの構成をコードで管理 (Terraformを採用) Serverless architecture 無駄にサーバを増やさない アプリケーシ

3/30(木) に参加して既に3週間もたってしまったけど，ECS の事例を聞きたいなと思って「JAWS-UG コンテナ支部 入門編 #4」に参加してきた．今回は「入門編」だったので，僕のレベル的にちょうど良いなと思った．あと JAWS 系のイベントは “19-21時” でサクッと終わるため，集中して学んで帰れるのも嬉しいポイントだと思う． jawsug-container.connpass.com Docker と Docker Hub の操作と概念 @zembutsu 技術（コンテナ）と仕様（Docker） dockerd → containerd → runC → Linux Kernel 通常の Linux では /sbin/init が PID 1 だけど，コンテナの中で httpd など，起動しているプロセスが PID 1 になる コンテナホストから見ると，その httpd は

こんにちは。smallpalaceです。 3末にJAWS-UGのコンテナ支部の#4に行ってきましたので備忘録です。 https://jawsug-container.connpass.com/event/51776/ ハッシュタグ：#jawsug_ct https://twitter.com/search?f=tweets&vertical=default&q=#jawsug_ct&src=tyah あとで↓こちらで配信されると言っていました。 https://crash.academy/ --- 前佛さん CLIなどの話 http://docs.docker.jp/ コンテナは技術、Dockerは使用 DockerHubが中継点 コマンドでコンテナとイメージを操作 技術と仕様 技術はコンテナ、仕様は使用 環境が異なる問題を解決 すべての依存関係をパッケージ化してコンテナとして動かす Li

JAWS-UGコンテナ支部 入門編 #4 で登壇しました #jawsug_ct 3/30(木) JAWS-UGコンテナ支部 入門編 #4 で発表の場をいただきましたので、今回はそのご報告です。

構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) 本記事ではECS-optimized AMIを使った構築を前提とし、つまずきやすいポイントにフォーカスしてECS+ALB構成でのベストプラクティスをご紹介します。

SpotFleet+ECS+ALB構成を試したら気持ち良かったからAWSLambdaで痒いところをさらに気持ち良く その課題、本当にサーバが必要ですか？サーバレスに考えたらシステム運用がもっとシンプルになりませんか？

Amazon Web Services ブログ Amazon ECSでAuto Scaling Amazon EC2 Container Service (Amazon ECS)のClusterを自動的にスケールさせる方法はありましたが、本日Auto ScalingとAmazon CloudWatchのAlarmに追加された新機能により、ECSのServiceにScaling Policyを利用することができます。ServiceのAuto Scalingにより、需要が高まった時にスケールアウトさせて高い可用性を実現したり、需要が下がったらServiceとClusterをスケールインさせることでコストを最適化するのを、全て自動でリアルタイムに行うことができます。 この記事では、Clusterを需要に合わせて自動的にリサイズさせつつ、この新しい機能がどうやって利用できるかをお見せします。 Se