EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン

インターネット向けロードバランサーを使用しています。プライベートサブネットにあるバックエンド Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをアタッチしたいと考えています。 簡単な説明 プライベートサブネットにある Amazon EC2 インスタンスをアタッチするには、まずパブリックサブネットを作成します。これらのパブリックサブネットは、バックエンドインスタンスが使用するプライベートサブネットと同じアベイラビリティーゾーンにあるものとします。次に、それらのパブリックサブネットをロードバランサーに関連付けます。 **注:**ロードバランサーはターゲットとの接続をプライベートに確立します。インターネットからソフトウェアパッチまたはセキュリティパッチをダウンロードするには、ターゲットインスタンスのルートテーブルで NAT ゲートウェイルールに従っ

最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo

こんにちは。大阪の市田です。 今回は、下記のブログの内容を元に、踏み台サーバ経由のSSHセッションを記録する方法をご紹介します。 How to Record SSH Sessions Established Through a Bastion Host | AWS Security Blog 尚、踏み台サーバはAmazon Linuxを想定しています。 ポイント この記事のポイントは下記です。 OpenSSHの設定の修正 scriptコマンドの利用 踏み台サーバユーザの権限制限 ログファイルのS3保管 S3による踏み台サーバユーザの自動管理 SSHのエージェントフォワード利用 CloudFormationで環境構築 それでは順に説明していきたいと思います。 構成 想定の構成は下記の通りです。 ログファイルのディレクトリ作成 まずは、踏み台サーバにログの保存ディレクトリを作成し、アクセス制限

さて、皆様はIAMにどのようなイメージをお持ちでしょうか。プロジェクトに関わる複数人で1つのAWSアカウントを扱う時、各メンバーに配布するアカウントを作れる機能。そして、その気になればアカウントをグループ分けし、権限を厳密に管理できる機能。といったところかと思います。 上記のユースケースで出てきた主なエンティティ（要素）はUserとGroupですね。IAMのManagement Consoleで見てみると、IAMはこれらの他にRoleやIdentity Providerというエンティティによって構成されているようだ、ということがわかります。今日はRoleにフォーカスを当てて、その実態を詳しく理解します。 IAM Role IAM Roleを使うと、先に挙げたIAMのユースケースの他に、下記のようなことが出来るようになります。 IAM roles for EC2 instancesを使ってみ

EC2インスタンス、月でいくらぐらいだったっけ？ってのをいままで何十回と繰り返してきたので、 月額のザックリをまとめてみた。 東京リージョン 1 month = 720 h 換算 もっと細かい金額を弾きたい場合は、AWSに見積もりツールってのがあるので、それを使ってみてください。 http://aws.amazon.com/calculator もっと便利なサイトをコメントで教えてもらったので追記。 もう、このページ自体が必要ないかも。 http://ec2pricing.net/ http://www.ec2instances.info/ 変更履歴 2018-02-21: EC2価格表を更新 EC2 AWSの該当ページ - http://aws.amazon.com/jp/ec2/pricing/ インスタンスの単純な価格のみで、EBSとかは省いてます。 t2.nanoが登場してから、n

はじめに こんにちは、虎塚です。 ログファイルの監視ができるAWSサービスといえば、CloudWatch Logsですね。メトリックを使ってアラームを設定し、SNSと組み合わせることで、アラートメールも送信できます。 本ブログでも、これまでに何度かCloudWatch Logsをご紹介してきました。 Amazon CloudWatch Logsでログファイルを監視する ｜ Developers.IO Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 ｜ Developers.IO CloudWatch Logsは、2014年7月にリリースされたサービスです。この半年ほどで、いくつか機能アップデートがありました。主なアップデートは、次のとおりです。 CloudWatch Logsが東京リージョン(ap-northeast-1)でも利用できるようになりました

EC2へのアプリケーションのデプロイを考えた時に色んな候補があるかと思います。以下にまとまっていました。 AWSでデプロイとスケーリングを自動化する方法まとめ 最初、OpsWorksを検討したのですが、オートスケーリングに対応していないという点でボツとなりました。。。また、Jenkinsなどを使えば可能だと思いますが、その場合にはJenkinsをSPOFにならないように気をつけたり、AWSと連携するためにごにょごにょするのが面倒かなと思いました。 で、まだtokyoリージョンにはきていませんが、CodeDeployはオートスケーリングが対応しており、どうだろうということで色々試してみたたのでメモ。 今回の例ではGitHubへのpush時にCodeDeployを利用してEC2にWordPressのデプロイを行ってみました。 CodeDeployとは アプリケーションのデプロイを行うためのサー

ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ

EC2でサーバーを構築する場合、負荷分散や可用性を考慮して複数台構成とする場合が多いかと思います。 全く同じ構成のEC2インスタンスを複数台構築する、、今回はTerraformでをそれを行う場合のTIPSをいくつかご紹介いたします。 前提 以下のEC2のリソース定義をベースに、各種TIPSを適用していきます。サブネット、セキュリティグループは既存のものを利用する前提で話を進めます。 variable aws_access_key {} variable aws_secret_key {} provider "aws" { access_key = "${var.aws_access_key}" secret_key = "${var.aws_secret_key}" region = "ap-northeast-1" } resource "aws_instance" "web" { am

はじめに Amazon EC2でLinuxサーバを新規構築する場合は弊社ではAmazon Linuxをお勧めすることが多いです。その理由としてはAWSのツールが最初から入っていてAmazonのサポートも受けやすいからです。Amazon Linuxを使ったことがない方はどんなディストリビューションなのか特徴を知りたいのではないかと思いますので、CentOSとの違いも含めまとめてみました。以下はAWS公式サイトのページになります。 Amazon Linux AMI Amazon Linuxの特徴 Amazon LinuxはRedHat系のディストリビューションになります。CentOSやRHELを使ったことがある方なら同じように使えるのではないかと思います。CentOSとの比較をしながらAmazon Linuxの特徴を見ていきたいと思います。CentOSはAWS MarketPlaceにあるCe

新規事業の立ち上げにAWSを選択する こういう状況はままあるでしょう。最安というわけではないけれど、将来どんな開発が必要になるか全く想像できない新規事業立ち上げフェーズにおいて、多種多様なPaaSを提供してくれるAWSはとても魅力的。 さて、いざ、EC2インスタンスを立ち上げてアプリケーションをデプロイするわけだが、みなさん、ちゃんとネットワーク設計していますか？まさかデフォルトVPCでサービス運営なんてしてないですよね？ というわけでネットワーク設計をして、VPCを設定していくわけだが、何を作ればよいか決まっている事業フェーズならともかく、新規事業立ち上げフェーズでは「将来どんな機能が必要になるかわからない」という前提でネットワーク設計をしておかなければいけない。そこで、「例えばこんな設計はどうでしょう」という提案をしてみる。 IPレンジ設計 まずはVPCとサブネットを使ってIPレンジを

こんにちは。五反田のClisk（クリスク）という会社でシステムエンジニアなどをしている芹沢です。 さて、早速ですがたとえば以下のような場合、データのコピーや環境のバックアップをおこなう必要がありますよね。 データのバックアップをとりたい 本番環境をもとにテスト環境を作りたい 開発環境を構築するのに、毎回インストールなどの同じ作業をしたくない サービスが成長してアクセスが増えたので、複数台構成にしたい テスト環境を構築する場合や、複数台構成にする場合などであれば、元のサーバーの環境を完全に再現して、サーバーをもう1台作る必要があります。しかし、これをゼロからすべてもう一度作るというのはとても大変な作業です。 また、障害などに備え本番環境をすぐに再構築できる環境を用意しておくことは大切ですが、これも簡単にできることではありません。 でも、AWSならとても簡単に、サーバーを丸ごとコピーできてしま