AWS SESをちゃんと使う AWS SESは安価で簡単にメールの送信／受信トリガーが実現できるサービスです。AWSを使っているサービスの場合、けっこう使うことになると思います。が、ハマりどころや注意すべき所があるため、サービスの特性を理解して使ったほうが良いと思い、まとめてみました。 やること SESの制限解除申請をする DKIMに対応する／逆にSPFは対応しなくてOK バウンスと苦情の対応をSNS/SQSなどを使い自動化する 25番ポートは使用せず、465/587を使用する 配信メトリクスを監視する SESの制限解除申請 新規AWSアカウントの場合、SESはサンドボックスモードになる サンドボックスモードだと、検証済みEmail/ドメイン宛にしか送信できない 24時間あたり200通までの送信制限 / 1秒あたり1メッセージの受信制限 サンドボックスモードを解除するには申請する 制限はリ

DeNA では一部のサービスを AWS で運用している一方、大部分のサービスはオンプレミス DC で運用しています。このセッションでは、DeNA のサービスを AWS へ完全移行をすると仮定した場合に、直面しそうな困難や足りないと思われる機能などの、”ぜんぶ AWS でやらないワケ” をお話したいと思います。

CDNが単一障害点にならないようにするために ヌーラボでは 2010 年 Cacoo の商用サービスの開始に合わせて AWS における運用を開始しました。当時、運用環境として AWS を採択する決め手の一つになったのが CloudFront でした。その後も着々とエッジロケーションは増え、独自ドメインのサポートなど魅力的な機能も提供され、今ではヌーラボの全サービスの静的ファイルの配信で利用している、無くてはならないサービスとなっています。 その魅力の反面、CloudFront の障害は、アプリケーションそのものに問題がなくても、以下のような表示が崩れた画面が表示されて、ユーザが全くサービスを使えなくなるという、その影響が非常に大きいものです。また障害の原因が DNS やネットワークの経路における問題といった、私たちが直接解決しにくい領域にあることもしばしばです。 ただ、どんな事情であれ、障

・2年で月間10億PVを支えるまで成長した
ZenClerkの運用上の工夫を紹介 ・AWSのTipsとあるある話の共有

アマゾン ウェブ サービスの公式イベントのアーカイブおよびオンデマンドコンテンツの動画や資料がご利用いただけます。

クロジカAWS/Azure管理は、AWSやAzureを構築運用するクラウド管理サービスです。 シリーズ合計1,800社35,000人以上が利用しています。

ども、大瀧です。 EC2からEメールを送るという案件、たくさんありますよね。そして結構な確率でトラブるんですよね(涙目)。そんな苦い経験をベストプラクティスとしてまとめてみました。一応技術的なところは網羅したつもりですが、メールセキュリティの専門ではないので、不備や間違いがあればご指摘ください。 では、メール送信トラブルの元凶である、スパムメールとその対策からご紹介していきます。 スパムメールとの闘いダイジェスト Eメールの歴史は、スパムメールとの闘いの歴史と言えます。 不特定多数に送信されるスパムメール(未承諾の広告メール)は、メール受信者に不快な思いをさせるとともに、メールサーバーのメール流量を爆発的に増加させ、長らくメールサーバー管理者を泣かせてきました。 このスパムメールをなんとか撃退しようと、現在では主に以下のような対策が行われています。 1. 送信メールサーバー側のネットワーク

[AWS][CLI] EC2にSSHするときだけ、security groupに自分のアドレスを追加する はじめに AWSのEC2にはSecurityGroupと呼ばれるファイアウォールがあります。"指定したIPアドレスから、特定のポートのみアクセスが可能"といった指定をすることでセキュリティを上げることができます。 ただ、会社のような固定IPを持った場所からのアクセスではよいのですが、モバイル機器などを用いる場合は毎回IPアドレスを指定するというのは非現実的です。というわけで、スクリプトをつくって省力化してみました。 sshをする前にSecurityGroupに自分の利用しているIPによるSSHを許可して、ssh終了後に追加したルールを削除するというスクリプトです VPNを使うのが本筋だとはおもいますが、いつもできるというわけではないので、役に立つ場合もあるかもしれません。 スクリプトの

1. コスト削減から考えるAWSの 効果的な利用方法 2013年年3⽉月 株式会社サーバーワークス 　⼩小室⽂文 JAWS-UG三都物語  春 2013

はじめに 先日お伝えしました通り、ELBのアクセスログが取得出来るようになったのですが、すぐさまfluent-plugin-elb-logというfluentプラグインがリリースされました。さすがfluentd界隈、対応が早いです。 ということで、今回はELBのアクセスログをfluentd経由でElasticsearchに取り込み、それをKibanaで表示したいと思います！ セットアップ Elasticsearch Elasticsearchは最新のrpmパッケージを更新サイトから取得し、rpmコマンドでインストールします。 $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm $ sudo rpm -ivh ./elasticsearch-1.

大規模データについて最後にRedshiftについて書きます。 使い始めたばかりで実践的な話は少ないですが、現場視点の使用感をまとめました。 Redshiftとは AWSが提供するデータウェアハウスです。 いわゆるフルマネージドサービス（RDS、DynamoDBと同様）ですぐに使い始められます。 操作項目はRDSに近いです。 詳しくは、コチラをご覧下さい。 特徴をまとめると 使い勝手は、他のAWSサービス同様に必要に応じて簡単に拡張できます、 データ抽出のためのSQLは、Postgreペースのカスタム版です。 抽出のための機能は揃っているので問題なく使えます。 詳しくは、コチラ をご覧ください。 運用の手間は、バッチ処理の様な比較的時間の余裕がある処理で使う分には問題ないレベルだと思われます。 １時間/週のメンテナンス時間が必要なのでDBが止まっても問題ない(リカバリできる)処理でないと難し

渡辺です。 Redshiftでは、Amazon S3にアップロードしたCSVファイルをデータとしてロードすることができます。 今回のエントリーでは、Redshiftをセットアップし、データをロードするまでの手順を紹介したいと思います。 今回紹介する手順は次のようになります。 データファイルを準備する データファイルをAmazon S3にアップロードする セキュリティグループを作成する Redshiftのクラスタを作成する クライアント用EC2を作成する クライアント用EC2からRedshiftに接続し、Amazon S3からデータをコピーする なお、このエントリーで紹介している手順にある操作における細かいオプションや、他の方法などについては、Amazon Redshift DB開発者ガイド – データのロード処理(2).COPYコマンドの使用などを参照してください。 データファイルの準備

まとめ RedShift移行後 RedShiftは 構築簡単、 開発簡単、 運用簡単、 そして、パワフルで実際導入していいことのほうが多いです。 大概の集計、分析はビッグデータに対して簡単なクエリを実行することで解決するかと思います。 そのような用途であれば絶対に効果を発揮してくれます。 もし、特に用途を決めていなくてもとりあえずログをS3にUploadして、RedShiftに取り込んでおくことだけ 始めても、何かいい意味で気付きがあるのではと思います。 Redshiftの世界へ（※注：背景全く関係ないす） 困った点、悪い点 安いんだけど、高い

よく訓練されたアップル信者、都元です。CloudFrontにはDistributionの設定により、アクセスログを出力する機能があります。アクセスログは定期的に *1、gzip圧縮ファイルとして、指定したS3バケットに配信されます。 http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/AccessLogs.html さてこの設定を行いますと、指定したバケットがこんな感じになります。どんな単位で集約されているのかは定かではありませんが、同じ時間帯に複数のファイルがありますね。これでも数が少ない時間帯を選んだのですが。要するに物凄い数のログファイルがガンガン配信されてくるようになります。アクセス数にもよりますが、今回の検証環境では1日あたり1000ファイルほどが配信されました。 さて、このログファイルを集計してくだ

JAWS DAYS 2013 [DEV-02] http://jaws-ug.jp/jawsdays2013/Read less

KDDI 法人・ビジネス向け「AWS with KDDI」(アマゾン ウェブ サービス) (IaaS・PaaS・DaaS) 特長・概要のご案内です。お客さまの課題解決に合わせてKDDIが柔軟にAWSを設計しご提案します。 お知らせ 【2018年6月更新】 サービス提供終了について 『AWS』のお取り扱いについて、子会社でプレミアムコンサルティングパートナーであるアイレット株式会社の商材を組み合わせた「cloudpack with KDDI」の提供開始に伴い、「AWS with KDDI」は、2017年11月2日をもって新規お申し込み受け付けを終了し、2018年5月31日をもって、サービス提供を終了しました。 詳しくは以下をご参照ください。 cloudpack with KDDI サービス終了情報 「AWS with KDDI」提供終了のお知らせ

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。

よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB