EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン

Amazonは、なぜ、Aurora（オーロラ）という名前をつけたのだろう？　僕は、どこかで見かけた、「それは、オーロラは雲（Cloud）の上にあるからさ」という一節が、とても気に入っている。 まさに、Auroraの最大の特徴は、Amazonのクラウド・サービスの上に構築されたデータベースであるというところにある。小論では、クラウド上（「雲の上」）のデータベースであるAuroraが、どのようにクラウドの機能を利用しているのかを、そのScalabilityとAvailabilityに焦点を合わせて紹介しようと思う。 AuroraのScalabilityとAvailability まず最初に、Auroraの主要なScalabilityとAvailabilityを確認しておこう。 Push-button Compute Scaling：コンソール画面で数クリックするだけで、CPU数・メモリーサイズ

念願のS3イベント通知 Amazon S3を使っている多くの人がファイルがアップロードされたタイミングでイベントを取得して次の処理に繋げたいと思うはずです。今までは、ポーリングしてファイルがあったら取得して処理をする必要がありましたが、これからは違います！！！実際にやってみましょう！ S3バケットの作成 SNSトピックの作成 SNSトピックポリシーの設定 S3 Event通知の設定 イベントの種類を設定 SNSトピックを指定します。新規作成にしてARN指定したほうがいいかも。 正しく設定されたSNSトピックを設定しないと怒られます 同じリージョンを指定しないと怒られます Eventsの設定画面 動作確認 どんなイベントで発報するか決めます 全部うまく設定できれば完了です！ まとめ イベント通知きたよ！！！システム間連携楽ちんだよ！ S3がシステムのハブになるよね！！！新しいクラウドデザイン

本日 re:InventのKeynoteで発表されたMySQL互換の新しいDBエンジン「Amazon Aurora」の紹介セッションに参加してきました。以下レポートです。 内容 導入 既存のRDBというのはモノリシックなデザインになっている。 SQL トランザクション キャッシュ ロギング この構成が1970年代から続いているが、クラウド時代の今、コスト、柔軟性、可用性の意味でデータベースを「re-imagine」して「re-invent」しよう、というところ。 エンタープライズクラスのデータベースの機能をオープンソースデータベースと同じ価格で、というのがAmazon Auroraのコンセプト。 Aurora マルチテナント ロギングとストレージ領域はSQL、トランザクション、キャッシュなどのノードからは分離された MySQL 5.6との完全な互換性。 1AZに2つのデータ領域がコピーされ

We are very excited to announce that! 本日のre:InventのkeynoteでAuroraという新サービスの発表が有りましたので紹介します。 どんなサービス？ Amazon AuroraはMySQLと互換性があるデータベースサービスで、高速、高可用性なマネージドサービスです。 高速 RDSの最大インスタンスと比較して５倍高速です。具体的には、1分当りInsertで最大6,000,000回、Selectで最大30,000,000回実行可能です。 高可用性 データは6重化されており、堅牢性はS3と同等の99.999999999%です。可用性は99.99%となっています。 既存のRDSではMulti-AZ構成で99.95%でしたので、非常に可用性が高いサービスとなっています。 なお、基本的にレプリカへフェイルオーバーします。レプリカが無い場合は新インスタン

自己紹介 2014年8月1日付けで入社しました、梶 浩幸と申します。よろしくお願いいたします。 これまでの事 某ネットワーク機器メーカの北海道支社のプリセールスエンジニアとしてネットワーク機器の提案とサポートを学びながら6年間仕事をし、サーバの技術も身に着けたいと思い、某セキュリティ会社の商用システムの運用メンバーとして転職。 ネットワークの設計・設定・構築を中心に、サーバ構築等もしながら、発生するインシデント対応（障害発生時の問題切り分けと再発防止）して7年勤務しておりました。 転職のきっかけ 2、3年前からクラウド関連の勉強会に参加し、クラウドに関わる仕事を希望するようになりました。以前から勉強会で面識のあった 渡辺さん @shuji_w6e 佐々木さん @smokeymonkey 工藤さん @jkudo の紹介からクラスメソッドの会社説明会に参加したのが、きっかけです。 これからの事

はじめに 初めまして。マサカリを持ったこわいモンスターがうろうろしているダンジョンの方から来ました虎塚（@torazuka）こと鳥形と申します。 8月1日付でクラスメソッド株式会社に入社し、AWSチームに加わりました。以後よろしくお願いいたします。 自己紹介 これまでの仕事 東京の中堅SIerに6年勤め、技術調査、技術支援、新規事業開発、パッケージ開発に取り組んできました。また、ソフトウェアテストの社内研修を企画して、講師を担当していました。 面白い社員がたくさんいて、給料が高く、休暇が多く、福利厚生が手あつい、最高の職場でした。 仕事以外のこと わが家の趣味の本棚の一部です。興味のありかが伝われば幸いです。 最近は体力作りに力を入れており、スポーツジムへ週に数回通って、マシントレーニングとジョギングをしています。週1回のボルダリングも4年間続けています。 また、絵を描くことが好きです。冒

2017年12月14日、目黒のAmazon Web Services (AWS) Japanオフィスにて、AWS re:Invent 2017前後にて発表されたセキュリティ関連情報を振り返るセミナーが開催されました。 AWS re:Invent 2017とは、2017年11月27日から12月1日までラスベガスで開催されたAWS最大のカンファレンスです。エンドユーザー様、パートナー様を中心に、世界中から40000人以上の来場者を集めました。re:Inventは基調講演やブレイクアウトセッション、ブートキャンプ、パートナー様ソリューション展示、参加者同士のネットワーキングなどからなります。例年同様、一人では回りきれないほど大量で多種多様なイベントが行われました。 そこで本セミナーは、セキュリティという観点に絞り、re:Invent 2017での情報を効率的に収集いただくと同時に、来年以降の日本

HOME » テックブログ » AWS , JavaScript » AWS Service Health Dashboardの障害時刻をブラウザのローカルタイムゾーンで表示するChrome extension作ってみた。 AWS Service Health Dashboardの障害時刻をブラウザのローカルタイムゾーンで表示するChrome extension作ってみた。 AWSのService Health Dashboardでは発生した障害情報が共有され、発生した障害情報は↓のように表示される。 ただ、アナウンスの時刻がPST（太平洋標準時）なので、毎回頭の中でJST（日本標準時）に変換が必要。UTC（協定世界時）ならまだ慣れ親しんでる分さっと変換できるけど、PSTは一瞬？てなる。 毎回時刻計算するのもメンドイので、Dashboardに表示されるPSTな時刻を、ブラウザを起動している

おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="[email protected]" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

AWS re:Invent 2013シリーズ 目次 ども、大瀧です。 11/12〜15までAWSが開催するre:Invent 2013というカンファレンスイベントに参加しています。本ブログでは、弊社エンジニアによるレポートを投下していきます！1本目は、イベントの概要と会場をご紹介します。 イベントの概要 イベントURL : AWS re:Invent 2013 開催日時 : 2013年11月12日(火)〜11月15日(金) 会場 : ベネチアン リゾート ホテル & カジノ(アメリカ ラスベガス) 参加費用 : 1299 USD re:Inventは、Amazon Web Services, Incが主催するAWS(Amazon Web Services)の世界最大のカンファレンスイベントです。今年で2回目ですが、7500人を超える世界中のAWS技術者が一同に集いベネチアンの巨大なコンベン

Amazon SES provides bulk mail sending service. This makes it easy for developers to send lots of e-mail and operation engineers will be relieved from the maintenance load. Whether or not placed in on-premises or cloud, I think MTA server on EC2 is difficult to maintain because we have to fight against e-mail black list. And We have to send a request to AWS for registering PTR record for the MTA se

AWS Elastic Load Balancer で HTTPS（SSL）通信を行うための準備、設定についてのメモ。目標とするサーバー環境のイメージは下記の通り。 Web アプリケーションサーバーを Amazon EC2 上に、Apache で構築する 負荷分散として Elastic Load Balancer を使う クライアントとアプリケーションの間は HTTPS（SSL）で通信する Elastic Load Balancer の設定 - Listener Configuration Elastic Load Balancer（以下、ELB）とは？ Elastic Load Balancing - Amazon Web Services ELB の一般的な設定方法は、下記の記事が参考になった。 Amaon EC2〜ELB設定編〜 | ナレコムAWSレシピ 今回、クライアントとアプリケ

統合脅威管理製品「Sophos UTM」とはなにか？ こんにちは植木和樹です。今回は「Sophos UTM」という統合脅威管理製品を作って、IPsec-VPNを設定しました。 統合脅威管理ソフトというのはサイトを運営する際に必要とされる様々なセキュリティ管理、たとえば「Webアプリケーション・ファイアウォール（WAF）」「メールフィルタリング」「ワイヤレス管理」「アクセスポイント管理」などを単一のコーンソールから管理できるソフトウェアのことをいいます。数ヶ月前に都元さんが本製品のWAF機能を紹介していますので、統合脅威管理とは？についてはそちらを参考にしてください。 AWS上で Sophos UTM 9 の Web Application Firewall (WAF) を使ってSQLインジェクション攻撃を検出・防御してみた 今回はSophos UTMが持つ様々なセキュリティ管理機能の中から

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AZ名と実データセンターの対応はアカウント毎に異なるということ AWSのアベイラビリティゾーン名（以下AZ名）と実データセンターの対応は実はユーザ毎に異なります。 これは多分使用されるAZが偏ることを防止する為だと思われます（一番上のAZを選ぶユーザが多いと予想される）が、まぁ真相はわかりません(^^; AZ名の対応不一致に関わる問題 AZの不一致はアカウント間のデータ転送料金に影響してきます。 同一AZ同士の通信（Availability Zone Data Transfer）は無料ですが、同一リージョンの別AZ間の通信（Region

はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン

ちょっとリザーブドインスタンスの仕様の確認をしていたので、ついでにまとめてみました。AWSを使ったことがある人であれば、高確率で聞いたことがあると思います。でも、実際に使ったことがある人は、結構少ないのではないでしょうか？。一度使ってみれば、特に難しくもなく簡単ということが解りますので、一読して試していただければと思います。 リザーブドインスタンスのモデル そもそもリザーブドインスタンスとは、どういうものなのでしょうか？簡単に言うと、予約金を最初に払うと期間内の時間あたりの料金が安くなるというモデルです。オンデマンドインスタンスに比べ、ある一定以上使うと積算料金が安くなるというのがリザーブドインスタンスです。 リザーブドインスタンスは、使用率により３つのタイプの買い方があります。期間中にどれくらいの割合で立ちあげておくかで、タイプを考える必要があります。 年間100%利用した場合 何%利用