秋のスポットインスタンス祭り ～ そろそろクラウドネイティブなコスト最適化はじめてみませんか？ 発表資料です https://awsj-compute.connpass.com/event/192302/

入門三部作ラスト www.mpon.me www.mpon.me ここまでで、簡単にTerraformの機能をおおざっぱに説明してきました。 今回は、そこそこ現実に即したインフラを作るまでの流れを追いながら、徐々にリファクタリングしていくことで実践的な考え方を身につけていきましょう。 すごく簡略化した一般的なAWSの構成を題材にします 本番に完全に即してる訳ではないけども簡略化した構成を例として、terraformでの構築、リファクタリングの過程をやっていきます。 ディレクトリ構成などに焦点を当てていきたいので、セキュリティグループなど細かいことは省いています。また、あくまでも例なのでそのまま動くコードにはなっていません。 下図のような構成です。 ロードバランサーにEC2インスタンスがそれぞれ2つずつぶらさがってるような構成。各インスタンスにはnginxとRailsアプリケーションがいるよ

EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン

前段 こんにちは。こむろです。 AWSで構築されたシステムを運用しているとAMIをよく利用します *1。 今回は、地味ながらも個人的にはとても大きなアップデートを見つけてしまい、作業手順が大幅に短縮できたため、小躍りしながらこのエントリーを記述しました。 今まで単に気づいていなかっただけなのか、はたまたそもそも誰もこんな機能を使っていないのか、地味すぎて誰も気づかないのか、真相はわかりませんがこの改善は（個人的に）最高です。 現在担当プロジェクトでは分間数万アクセスをさばくEBアプリケーションが構築されています。この中でもAMIを当然利用しています。EBではプラットフォームに合わせて、Elasticbeanstalk用にAmazonが提供しているカスタマイズされたAMIをベースに利用する必要があります。AMIの一覧で aws-elasticbeanstalk.*docker のように検索す

Amazon Web Services ブログ 水門は開いた – EC2 インスタンスのネットワーク帯域幅が増大 2016 年の中頃、Elastic Network Adapter (ENA) を使用するために AMI と現世代の EC2 インスタンスを構成するようお勧めしましたが、皆さんはきちんと宿題をこなしましたか。ENA の特徴は高スループット低レーテンシであること、その一方でホストプロセッサの負荷を最小限に留めることなどが挙げられます。複数の vCPU 環境で適切に機能するようデザインされ、複数の送信および受信キューを使ってインテリジェントにパケットのルーティングを行います。 今日、私たちは水門を開けて (帯域幅の制限を取り払って)、すべての AWS リーションでより多くの帯域幅をご利用いただけるようになりました。仕様は以下のとおりです (それぞれの事例で実際の帯域幅はインスタンス

オペミスでElastic IPアドレス(EIP)を解放できないように、IAMポリシーでElastic IP(EIP)の解放を許可しないという記事を以前書いたけど、復旧するコマンドがあったので、まとめておく。 Elastic IPアドレスの復旧ルール 以下のルールに沿えば、Elastic IPアドレスを解放した場合でも、復旧できる可能性がある。 もともと EC2-VPC で使用するために割り当てられていたか、EC2-Classic から EC2-VPC に移動された Elastic IPアドレスだけを復旧できる。 他のAWSアカウントに割り当てられている場合は復旧できない。 Elastic IPアドレスの割当上限（AWSアカウント作成時のデフォルトでは5個）を超過する場合は、復旧できない。 ユーザーガイド(日本語版)では、以下のように記述されているが誤訳。 もともと EC2-VPC で使用す

「やだ・・・EC2インスタンスタイプ・・・多すぎ？」 AWSの根幹をなすと言っても過言ではないEC2ですが、その歴史の長さ故、インスタンスタイプも現行世代だけで、18種類にまで増えております。増えたもんすなぁ・・・ そんな多種多様なインスタンスタイプ、使い分けについては、全て公式ドキュメントに記載されていますが、実際中身のハードウェア情報はどうなっているんだろうという気持ちになったハマコー。全インスタンスタイプのEC2を起動してみて、一括でHW情報の取得コマンドを流してみました。 いろいろ調べていく中で、最新世代のKVMベースのインスタンスでは、出力内容がかなり異なっていたり、いろいろ発見があったので、その内容を共有します。 はぁー、こりゃこりゃ。 実行対象のインスタンスタイプ（18種類） 今回、ハードウェア内容調査対象にしたインスタンスタイプはこちら。現行世代の全18種類を調査対象として

こんにちは、城内です。 今年もre:Inventが終わり、弊社の現地参加組も無事に帰国できているようで何よりです。 はじめに 今年のre:Inventもたくさんの発表やアップデートがありました。 AWS re:Invent 2017 ｜ シリーズ 今回はそんな中から以下の発表を受け、ふと思いました・・・。 【速報】マネージドNTP Amazon Time Sync Serviceが登場 #reinvent これはもしや 私がかつてエンタープライズ系のシステムを取り扱った時、よく課題になっていたEC2をプライベートなネットワークに置きたいという要望。 この要望に応えられるものではないかと！ いままで 古い記事になりますが、弊社で推奨する構成にいかようなものがありました。 【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 この時、EC2はNTPでの時刻同期のため、パブリックサブネット

[新機能]静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程新しいロードバランサーNetwork Load Balancer（NLB）が発表されました！ New Network Load Balancer – Effortless Scaling to Millions of Requests per Second Announcing Network Load Balancer for Elastic Load Balancing Network Load Balancer Network Load Balancer（NLB）はApplication Load Balancer(ALB)と異なりL4のロードバランサーです。 特徴 Network Load Balancerには以

はじめに Amazon EC2 APIの多くはリソースレベルでのアクセス許可制限が可能です。 しかしながらリソールレベルのアクセス許可がサポートされていないアクションもあります。 サポートされていないアクションは見落としがちです。 今回は、リソースレベルのアクセス許可でサポートされていないアクションを指定した場合のIAMポリシー作成時のエラー内容と回避策をご紹介します。 作成するIAMポリシー 例として以下IAMポリシーを作成します。 Resources:特定のEC2インスタンス Actions:EC2インスタンスの停止、起動、再起動、AMIの作成 Effect: 許可 エラーになるIAMポリシー 「Policy Generator」で以下IAMポリシーを作成したとします。 { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt00

AWS Cloud Operations Blog Running Ansible Playbooks using EC2 Systems Manager Run Command and State Manager If you are running complex workloads on AWS and managing large groups of instances, chances are you are using some form of configuration management. Configuration management tools are effective in automating the deployment and configuration of applications on hybrid instances. However, effic

弊社で大規模なアダルトサイトの運用を行う上でのAWS利用構成を紹介させて頂きます。 利用料金を抑えたいというビジネス的な観点と、サービスを止めない為の障害回避を念頭に構成を紹介します。 関連：AWSのt2.microで月間100万PVに耐えるアダルトサイトを制作した話 この記事は技術者向けの内容になっています。 システム開発の発注をお考えの方は、こちらアダルトホームページ制作のご案内をご覧下さい。 サービスを止めない為のAWS利用構成 サービスを止めない事は弊社では2つの思想によって設計をしております。 障害を防ぐ為の堅牢な設計とする 障害が起きた時に瞬時に復旧、あるいは回避する 前者はイメージしやすいと思いますが、弊社では後者のフェイルオーバーも非常に大事であると考えています。 システム障害が起きない様にスペックを十分に確保する等は当然の事ですが、 万が一障害が発生した場合に即座に代替機

大栗です。 AWSは作成や削除が柔軟にできるので必要な時にリソースを作成すれば良いことが利点です。しかし、一旦削除してしまうと同じものを作成できず取り返しがつかないリソースもあります。その代表がElastic IPでした。そのElastic IPを復旧できるようになりました！ Recovering an Elastic IP Address AllocateAddress 制限 Elastic IPの復旧には以下の制限があります。 EC2-VPC用に割り当てたか、EC2-ClassicからEC2-VPCへ移行したElastic IPのみが復旧できます。 Elastic IPが別のAWSアカウントに割り当てられている場合やIPアドレスの上限を超えた場合は復旧できません。 試す 早速試してみます。 Elastic IPの復旧はAWS CLIの1.11.133以降が必要なので最新にアップデートし

ご機嫌いかがでしょうか、豊崎です。 ELB（Elastic Load Balancing）はその名の通りロードバランサーなので、負荷分散のイメージが強いと思いますが、 ここではWEBサーバが１台でも前段にELBを置いた方がいい理由についてまとめたいと思います。 WEBサーバが１台でもELBを置いた方が良い理由 インスタンスの差し替えが容易 運用が開始した後、EC2に対して修正を行う必要がでた場合、インスタンスの差し替えが容易になります。 DNSの変更を行うことなく、バックエンドの切り替えが可能です。 ELBのヘルスチェックで監視 ELBのヘルスチェックを利用してWEBサーバの死活監視を行うことができます。 CloudWatchアラームを組み合わせて通知が可能です。 HTTPSのSSL終端をELBへ SSLを利用する場合、EC2でSSLを終端させるとOpenSSLなどの管理が発生します。 一

ホーム / ハック / EC2で設定しておくべきCloudWatchの監視項目

はじめに 今回はSESで受信したメールをS3に保存し、Lambdaでメールを振り分けてS3バケットの対象フォルダに移動(コピー)するというところまでの処理を先日サポートされた Python3.6でやってみました。 Announcement: AWS Lambda now supports Python 3.6 やりたいこと SESで受信したEC2のリタイアメントやメンテナンスのメールをS3のフォルダに振り分ける。 その他のメールは削除。 EC2のリタイアメント通知の件名 [Retirement Notification] Amazon EC2 Instance scheduled for retirement. EC2のメンテナンス通知の件名 Amazon EC2 Maintenance - Maintenance [AWS Account: 012345678910] 処理の流れ SES

はじめに 最近、既存のEC2に対してIAM Roleのアタッチ、変更がCLIでできるようになりましたが 今回、EC2コンソール上でも可能になりましたのでご紹介します。 Easily Replace or Attach an IAM Role to an Existing EC2 Instance by Using the EC2 Console CLIでの方法は以下ブログをご参照ください。 [アップデート]既存のEC2にIAM Roleを付与できるようになりました！ [アップデート] EC2 のIAM Role変更も可能になりました やってみた IAM RoleがアタッチされていないEC2インスタンスを用意 IAM Roleを設定する 対象EC2インスタンスにIAM Roleを設定してみます。 対象EC2インスタンスから [アクション] [インスタンスの設定] [Attach/Replac

EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック