AWSはなぜ、ECSがあるのにKubernetesのサービスを始めたのか、コックロフト氏に聞いた：AWSとオープンソース（1） Amazon Web Servicesが、オープンソースへの取り組みを強めている。同社は具体的に、何をどのようにやろうとしているのか。AWSクラウドアーキテクチャ戦略バイスプレジデントのエイドリアン・コックロフト氏へのインタビューを、2回に分けてお届けする。前半では特に、Kubernetesベースのコンテナ管理基盤運用サービスを提供開始した理由などを聞いた。 Amazon Web Services（以下、AWS）が、オープンソースへの取り組みを強めている。同社は具体的に、何をどのようにやろうとしているのか。本連載では、同社におけるオープンソースへの取り組みを指揮する、AWSクラウドアーキテクチャ戦略バイスプレジデントのエイドリアン・コックロフト（Adrian Co

Terraform AWSのインフラ構成はTerraform管理してる. tfstateを分割する tfstateが1つのままだと、Terraformのresourceを増やしていったときに 頻繁に更新するresourceとそうでもないものがある 適応するのに時間が掛かる エラーの切り分けしずらくなる ということからtfstateを分割してる。 ただ分割しすぎると、適応漏れや適応順番が複雑になるので2つに分割してる。 . ├── environments │   ├── immutable │   │   ├── backend.tf │   │   ├── main.tf │   │   ├── provider.tf │   │   └── variable.tf │   └── mutable │   ├── backend.tf │   ├── main.tf │   ├── ou

PHP Conference 2016の発表資料です kubernetesをつかってゲーム開発の 開発スタイルを変えたお話です

JAWS DAYS 2018

みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ

You can now query task metadata and container-level Docker statistics for tasks that are launched using the awsvpc network mode. This gives you a straightforward way to get environmental data such as task, container, and image ID, as well as check the status and health of running containers and tasks.

OSS紹介 Advent Calendar 2017 - Qiita 18日目の記事です。(一週間遅れ) Amazon ECS へのデプロイツール ecspresso と、そこで使っている環境変数を展開しつつ複数の YAML/JSON/TOML を読み込む config loader である go-config の紹介をします。 ecspresso github.com 「エスプレッソ」と読みます。Go で書かれた Amazon ECS 用のデプロイツールです。以下の3つのファイルを用いて ECS へのサービス、タスク定義作成、入れ換えを行います。 YAML の設定ファイル タスク定義のための JSON (aws ecs describe-task-definition 出力と互換) サービス定義のための JSON (オプション。aws ecs describe-services 出力の

JAWS-UG コンテナ支部 #10 - connpass https://jawsug-container.connpass.com/event/71130/

このエントリはRails developer meetup 2017で発表した内容をブログとして書き出したものです。 サンプルのスニペットが多いので資料の代わりにエントリとして公開します。 スライド用のmarkdownを元に起こしたものなので、少し読み辛いかもしれませんがご容赦ください。 ECSとは Dockerコンテナを稼動するためのクラスタを管理してくれるサービス 使えるリソースを計測し、自動でコンテナの配置先をコントロールしてくれる kubernetesではない。最近、kubernetesが覇権取った感があって割と辛い 今はEC2が割とバックエンドに透けて見えるのだが、Fargateに超期待 ECS or EKS :tired_face: RailsアプリのDockerize オススメの構成 実際にデプロイするimageは一つにする 例えばstagingやproduction等のデプ

こんにちは、バックエンドエンジニアの tsub (id:tsub511) です。 本日 AWS Re:Invent 2017 でコンテナ実行環境として新たに AWS Fargate と Amazon Elastic Container Service for Kubernetes (EKS) が発表されました。 昨日は発表が待ち遠しくて気が気じゃなかったですが、無事に予想通りマネージド Kubernetes サービスが発表されて大喜びです。 今回は AWS でコンテナを扱う上で、今までのサービスと合わせて選択肢がいくつかあって混乱すると思うので簡単にまとめました。 AWS でコンテナを動かすためのサービス 新しく 2 つのサービスが追加されたことで、これだけあります。 (見落としがなければ) Amazon Elastic Beanstalk (EB) Amazon Elastic Cont

Rails Developers Meetup #7 東京会場 https://techplay.jp/event/631428

はじめまして。株式会社トルテでサーバーサイドを担当している中川です。 レディーファーストの恋アプリTorteを開発しています。 https://sweet-torte.com/ 今年8月にリリースしたTorteのサーバーサイドのアーキテクチャについて、技術選定の理由やTipsと共にご紹介いたします。 技術選定 Go + Docker 以前担当していたサービスで急激な高負荷に耐えられないことが多々あり、EC2を使ったスケールに限界を感じていました。Docker Containerを使ったオートスケールやデプロイに関心があり、今回はDockerと、シングルバイナリで稼働して相性が良いGo言語を採用する運びとなりました。サイバーエージェントグループでの採用事例もあり、新規ならDocker + Goという流れがあったので、採用にあたって特に障壁はありませんでした。 Cloud Service クラ

RailsのECS移行事例なんて既に山ほどあるので、特に書くつもりは無かったのですが、実際にやってみると 時代が進んで、より便利なものが出てきている デプロイどうするのよ、となったときに各自が最強のECSデプロイツールを作っていて、参考にならない といった体験をしたので、最近やったECS移行の話を書くことにしました。 社内Qiitaに書いたポエムです pic.twitter.com/yDlWGhhkF1— wata (@wata727_) 2017年8月31日 もちろん、この記事も古くなると何の役にも立たないと思うので、古くなったら、みなさん頑張って調べてください。 ECS移行で考えるべきこと まず前提として、移行対象はシンプルなRailsアプリで、WebサーバとWorkerからなります。デプロイはCapistranoなどのいわゆる「Push型」で行っていたものとします。Railsに限定し

こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。　※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基

みなさんさようなら．インフラ部の@h3_potetoです． CrowdWorksは大きなRailsアプリケーションですが，最近ではこの大きさで管理していくのもう無理な気がしてきて，マイクロサービスっぽくしていこうという動きがあります（が，まだ全然マイクロサービスではないです）． それでも一部を切り出すことには成功していて，多少なりともマイクロサービスの運用っぽいことも必要になってきました． で，今回は僕の趣味のデプロイの話です． サービスはDockerに載せたいよ CrowdWorks本体は，Docker化まで程遠い感じがしているんですが，切り出したマイクロサービスなら，最初からDocker前提で作ることが出来ます． これなら楽にDockerで本番運用まで行けそうな気がしていました． 他のサービスを色々AWS上に構築していることから，Dockerでアプリケーションを動かすのもAWSでなんと

おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの？ ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm

Amazon Web Services ブログ EC2 Container ServiceのBlue/Greenデプロイメント この投稿と付随するコードの作成には、下記3名による多大な貢献がありました。 コンテナ化されていないトラディショナルな環境にソフトウェアアップデートを展開するのは難しく、リスクを伴います。デプロイパッケージまたはスクリプトを記述するときは、ターゲットマシンが特定の状態にあると仮定する必要があります。ステージング環境が本番環境の正確なミラーイメージでない場合、デプロイは失敗する可能性があります。デプロイが失敗すると、アプリケーションの最後の正常なバージョンを再デプロイするまでサービス停止が起きることがあります。あなたが運用管理者だとしたら、サービス停止があると夜間に起きていなければいけないでしょう。 リリース内容の審査が終わるまでユーザーに新しいバージョンをさらすこと

You can now create an Amazon Elastic Compute Cloud (EC2) Spot fleet directly from the Amazon EC2 Container Service (ECS) console. Amazon EC2 Spot instances allow you to bid on spare Amazon EC2 compute capacity, allowing operating cost reductions of 50-90% compared to EC2 On-Demand instances. Previously, you could only use On-Demand instances during cluster creation in the ECS console. You had to f

ECS + Hako + Digdagによるバッチ運用 AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント