複数のAvailability ZoneにプロビジョニングしたELB(ALB) / AutoScaling Groupから特定Availability Zone上のリソースをパージする 中山（順）です 先日に東京リージョンで比較的規模の大きな障害が発生いたしました。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 障害の影響は特定のAZに限られていたことは上記の公式メッセージで説明されているとおりです。 また、障害発生の早い段階で単一のAvailability Zoneで問題が発生していることがService Health Dashboardでアナウンスされていました。 しかし、Design for Failureの原則に基づいてリソースを複数のAvailability Zoneで冗長化してるケースでも何らかの影響を

昨年は内部的なことを多くやっていたり、10年ぶりに格ゲー復帰したりで、なんとなくご無沙汰になります。が、元同僚エンジニアに名指しされたり、 パルが年末にアドベで連続更新してるのをみて、俺も頑張らなきゃなと思い直した次第でありやす。 久々すぎてなんか文章のノリがノらないので、最近調べ直した AWS の Auto Scaling 周りについて、今はこんだけ抑えておけばえぇんちゃうくらいの感じで、まとまり悪いかもですがまとめてみたいと思います。 目次 色々な「Auto Scaling」を理解する EC2 Auto Scaling Application Auto Scaling AWS Auto Scaling APIで理解する関係性 AWS Auto Scaling は EC2 Auto Scaling の代わりになるのか EC2 Auto Scaling を構築する 構成 LaunchTem

YAP(achimon)C::Asia Hachioji 2016 mid

みなさん、ごきげんよう。プレイドの@tik-sonと申します。 私たちはKARTE [https://karte.io/]というリアルタイムでウェブ接客ができるサービスを提供しており、 KARTEの売りであるリアルタイム性を保てるように、日々インフラを磨きこんでいます。 このエントリーでは、そのインフラの仕組みについて一部を紹介していきます。 今回は「1年で4億UUを解析したKARTEを支える

背景 AWSのAutoScalingは超絶便利なのですが、AutoScalingの元となるLaunch Configurationが編集不可能であるため、AMIの構成を変更したりして新しいAMIを作ると、Launch Configurationも新たに作る必要があります。（コピー機能ができたので以前よりはかなりマシになりましたが） そういうわけで、Launch Configurationの数はオートスケーリングを運用していると必然的に数が増えていきます。数が増えていくと、Auto Scaling GroupからLaunch Configurationを選ぶときのUIがつらくなるので、定期的に削除する必要があります。 というわけでManagement Consoleから削除するのですが、なんとこのUI、複数選択だと削除することができません。 作ったもの というわけで、溜まっていくとつらくなる

はじめに 案件でサーバのスケールを行なうことになったのですが、AutoScalingだとどうも合わないところがあり 自分達でスケールする仕組み、マイルドスケーリング(仮称)を作成しました。 AutoScalingについて AWSの提供する機能でEC2インスタンスをスケジュールや負荷に応じて増減させる仕組みです。 対象システムについて 今回対象となるシステムは以下の特徴がありました 別会社作成の既にEC2で動いているWebアプリケーション コンテンツはCMSサーバよりWebサーバに定期的に配信 WebアプリケーションはRDSにアクセスして情報を取得 監視サーバとしてnagiosを利用 Webサーバのホスト名を元に接続するRDSを決定 しばらく運用してみて、負荷のあがるタイミングと上限がわかっている AutoScalingをつかわなかった理由 AutoScalingを検討したのですが、以下の理

どうもどうも乙カレー様です。桑野です。 びっくりするほどブログ書いてなくてびっくりしてます。半年書いてないやん。 Terraformを使っていたりするんですが、最近EC2のAutoScaleを入れようとして辛いことがあったりしたのでちょっとまとめてみます。 Terraform Terraformは言わずとも知れたHashicorpさんのプロダクトですね。 インフラ構築をコード化してGithub等でレポジトリ管理することによって履歴管理や、プルリクエストベースの構築ができるのが売りだったりします。 TerraformでのAutoScale時のハマりどこ 端的にいうとこの2つです。 Terraform経由で実行した際のLaunchConfiguration（イカLC）とAutoScalingGroup（イカASG）の削除の順番が逆 LC内のuser_data更新で一網打尽になる Terrafo

4. 今日お伝えしたいこと Purpose of today 1. 具体的で比較可能で再現可能な モデルケースの提供 Auto ScalingについてはMin-Maxの 振り幅感覚を、Spot&Reserved Instancesに ついては使い所と倹約の規模感を 既に導入している方は比較用に 導入検討中の方は先行事例として 2. 設計方針や注意点といった知見の共有 5. 今日お伝えできないこと Purpose of today 1. そもそもAuto Scalingとは、Spot Instancesとは といった話 そういう話なら: [AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス ⇨ http://www.slideshare.net/AmazonWebServicesJapan/20131023- aws-meisterregeneraterispotpub

こんにちは。小椋です。 「まあ15分ぐらいなら落ちてても実際そこまで困らないけど、基本的には24時間起動していてほしいんだよね……」 という緩めのサービスレベルで稼働しているSPOF気味なサーバー、ありますよね。社内向けのジョブスケジューラーとか、一日に数回なんか集めて分析する奴とか。あんまり表立って言わないだけで、御社にもありますよね？ サービスレベルが緩めだし、ミッションクリティカルでもないので、ただ起動しっぱなしにしてほっとけばいいや……と思いきや、やっぱり止まったら止まったで処置も必要だし、生死確認はちゃんとしないといけないし、そもそも起動しっぱなしなのでお金もかかるし、とか、意外とお金も労力もかかりますよね。 私HDEの社長ですが、サーバ代に関してはかなりケチです！ そういうケースに関しては、場合によってはEC2のAutoScaling Groupで管理すると節約ついでに横着でき

#!/bin/bash ### BEGIN INIT INFO # Provides: mackerel-retire # Required-Start: $network $local_fs # Required-Stop: $network $local_fs # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # description: mackerel retire ### END INIT INFO API_KEY="hogehoge" HOST_ID=$(cat /var/lib/mackerel-agent/id) LOCKFILE=/var/lock/subsys/mackerel-retire case "$1" in start) touch ${LOCKFILE} ;; stop) curl -X POST "https:/

キューの長さと連動する Amazon SQSはキューのサービスです。メッセージを送る側と受ける側を疎結合にできるため、たまにスケールするアプリケーションにおいては非常に重要な役割を果たします。今回は、急激にメッセージが増えた時にできるだけ早くチェックして高速にスケールする方法についてご紹介します。 5分から1分へ Amazon SQSでは、規定値として5分に1回Amazon CloudWatchに監視用のデータを送っています。このデータの種類には、キューの長さも含まれていて、標準の状態では最大5分前の状態確認を1分毎に行うことになり、急激なキューへのメッセージ追加に対して、即座に反応ができません。そこで、カスタムメトリクスを使って1分以下のタイミングで監視データを送ることで、今までよりも早くアクションをすることができるようになります。 カスタムメトリクスの登録 SQSのキューの長さを確認す

AWS Advanced Users Meetup vol. 1

シェルスクリプトで AWS の ELB 関係の処理を実行します。 aws コマンドを利用しているので role の設定などにより aws が正しく動作する必要があります。 add2as EC2 インスタンスを生成して AutoScaling Group に追加します。 処理内容 内部では AutoScaling Policy を取得して実行しているだけです。 AutoScaling されているので AutoScaling Policy に従って自動的に terminate します。 制限 スクリプト中では AutoScaling Group と AutoScaling Policy を自動取得しているので以下に示す制限があります。 AutoScaling Group は1個のみ定義されている事 AutoScaling Policy は 1以上の増分指定されているものを利用 スクリプト中に

25. Auto healing ❖ AutoScalingGroupではdesired-capacityの数に! インスタンス台数が調整される。! ※desired-capacityは以下の範囲内で設定! min size =< desired-capacity =< max size ❖ 突然の死があってもインスタンスが再作成される! ❖ spotインスタンスと組み合わせれば、spot価格高騰で削 除されても、再作成される 26. Auto Healing ELB配下の一部をspotインスタンスで用意し、Auto scaling Groupは分ける! ! spotインスタンスが全滅してもアプリケーション的には耐えられる台数にしておく! ! ※c1.xlargeをspotインスタンスでたてると$0.192/hなので! オンデマンド価格$0.740/hと比べて3分の1以下

4月から劇団サーバーワークスに加わりました。伊藤です。 社内ではくりゅーと呼ばれております。 AWS環境では、わずか数クリックでサーバーができたり、AutoScalingで自動的にサーバーが増えたり、 オンプレミスの監視運用のスピードでは全く追いつけません。 そこで、今回はAuto Scalingなどで監視対象のインスタンスが自動で増えたり減ったりしても、Zabbixで常に対象インスタンスを自動登録し、監視対象にする方法をご紹介します。 自動構成ツールなどには依存しないので、どんな方法で（マネージメントコンソール、SDK、CLI、API、Elastic Beanstalk等々）構築、運用していても適用できます。 監視対象インスタンスのAgent側設定 zabbix_agentd.confにおいて、以下の点を設定します。 Server=127.0.0.1 #Zabbix-serverのIPも