AWS Summit Tokyo 2017 http://www.awssummit.tokyo/summit/index.html#D2T4-2 2017/5/31 13:20 - 14:00 スピーカー： 梅原 直樹 株式会社リコー オフィスサービス開発本部 SI開発センター 第四開発…

AWS Lambda で Application Load Balancer (ALB) のログを Elasticsearch へ投入して Kibana でビジュアライズしようと思い nodejs で Lambda Function を書いてみました。 https://github.com/awslabs/amazon-elasticsearch-lambda-samples/blob/master/src/s3_lambda_es.js ここにサンプルがあって、おっ？これはほぼこのまま使えるのか？って思ってやってみたら 使われている clf-parser は Apache の Common Log Format にしか対応していないElasticsearch への投入に Bulk API を使ってない、Lambda には時間制限があるのに1行ずつ登録していては時間が掛かり過ぎるS3 のフ

定期的にプログラムで生成するような、サイズも少し大きめのファイルを外部のメンバーとやり取りをする場合、AWSのS3のバケットを一時ファイル置き場にすることがあります。 がっ！日々自動アップロードされるファイルによってS3上のファイル数・容量がモリモリ成長し、ボディーブローのようにお財布を削っていくのに対し、古いファイルを削除することをすっかり忘れちゃうことってありますよね。セキュリティ的にも古いファイルを置きっぱにするのはよろしくありません。 そんな事態を防ぐため、S3にファイルをアップして一定期間後に自動的に削除するメソッドを作りましたので、S3破産する前に使ってみてくださいませ。 準備：aws-sdkに、一定期間後にファイル自動削除するメソッドを追加 RubyのAWS操作用標準Gemであるaws-sdkのAws::S3::Clientクラスにdelete_expired_objects

西澤です。S3バケットを直接マウントして高速に使えるgoofysが待望のContent-Typeの自動設定をサポートしたとの情報を見つけたので、早速試してみることにしました。 kahing/goofys: a Filey System for Amazon S3 written in Go Use /etc/mime.types to set Content-Type accordingly · Issue #54 · kahing/goofys Content-Typeとは S3にオブジェクトを配置する際には、システムメタデータを設定することができます。S3のウェブホスティング機能を使ってWEB公開する場合、ブラウザは配置されたオブジェクトのContent−Typeを参照して挙動を変える為、WEB公開するオブジェクトには適切なContent−Typeを仕込んであげる必要があります。 AW

はじめに AWSを利用していて、S3をサーバーマウントする技術としてs3fsが有名だと思います。 ですが、s3fsは遅いと感じる人は少なくないかと思います。 そこで他に何かないかなと思って調べたところ、goofysというのがあるみたいです。 goofysのREADMEに、以下のBenchmarkが載っていました。 ということで、とりあえずgoofysを使ってS3をマウントしたいと思います。 goとfuseのインストール まず、goofysを利用するにあたり、goとfuseが必要となるためパッケージをインストールします。

地味サービス大好きっ子の森永です。 CloudTrailのログ、活用できてますか。 私はできていません。 「活用しないログはただのログだ、いや、ただのコストだ」 昔の偉い人は言いました。（言ってません） re:Inventの直前にElasticSearch Serviceが発表されました。 これだ。これが道だ。 ということで、無駄にためていたCloudTrailの監査ログをElasticSearch Serviceで活用できるようにするまでをまとめてみました。 構成 こんな感じです。 まずは、CloudTrailのログをCloudWatch Logsに流し込みます。 そんでもってCloudWatch Logsに流し込まれたログをLambdaを使ってElasticSearch Serviceへ流し込みます。 いやーめんどくさそうですねー Lambdaが出てきたあたりで諦めたくなった人もいらっ

Amazon Elasticsearch Service は、アクセス制御が IAM や IPアドレスでできます。最初は IPアドレスフィルタでいじってたのですが、将来的にドツボにはまりそうだったため IAM で行うようにしました。 なお、Amazon Elasticsearch Service のアクセスポリシーの変更は、指定してから20分ぐらい待たないと反映されないため、面倒です。早めの IAM 化が楽だと思います。(反映待ちの間もサービスは使えます) IAM ユーザーの作成 IAM のユーザーページ https://console.aws.amazon.com/iam/home#users より「新規ユーザーの作成」 →適当に作ります 完成後、 「ユーザーのセキュリティ認証情報を表示」リンクをクリックして、 アカウント名、アクセスキー ID、シークレットアクセスキー を記録しておきま

弊社ではkintone（キントーン）のカスタマイズ開発でスケジューリングが必要なバッチ処理が発生した場合にAWS Lambdaを利用することがあります。 Lambdaはnode.jsに対応しているため、kintoneで日頃JavaScriptで開発している我々としても扱いやすく、また何よりもサーバーレスでコードを実行できるのでkintoneとの相性も非常に良いサービスです。 ただし、Lambda上でLambda functionを実行し、kintoneからデータを取得し、加工処理をしてからkintoneにデータを戻すといった連携を行う場合、kintone（正確にはcybozu.com基盤）上でIPアドレス制限をかけているとLambda側からkintoneへのAPIアクセスができなくなるというちょっと困った状況に陥ります。 Lambdaが利用しているグローバルIPアドレスを.com側の許可I

サーバレスでアプリケーションを実行できるAWS Lambdaですが、先日の機能アップによりVPC内での実行が可能になりました。 AWS Blog：LambdaファンクションからのVPC内リソースへのアクセス このアップデートまではLambdaはインターネット上で実行され、LambdaファンクションからVPC内のDBなどのバックエンドへアクセスする場合に使用されるIPアドレスは不定でした。 そのため、SecurityGroupやNACLで縛れず、すべてのIPからのアクセスを許可する必要があり、セキュリティ上の懸案がありました。 今回可能になったVPC内実行を応用することで、LambdaからアクセスされるIPアドレスを固定することができそうです。 Lambda実行時のGlobal IPを固定する VPC内で起動されたLambdaファンクションがインターネットへの通信を必要とする場合、NATイン

#S3 VPCエンドポイント 通常S3へのアクセスはインターネットを通して通信され、 プライベートサブネットからの通信はNATを、Publicであればゲートウェイを通過したアクセスとなる。 しかし、S3エンドポイントを設定することにより、インターネットをかえさないセキュアな通信となり、 プライベートサブネットの場合はNATを通さない通信が可能となる。 通信経路 AWSのRouteTableはロンゲストマッチとなるため、詳細経路を優先する。 0.0.0.0/0より、S3エンドポイントの経路が優先となりNATを通過しない通信が可能となる。 http://docs.aws.amazon.com/AmazonVPC/latest/PeeringGuide/peering-configurations-partial-access.html#one-to-two-vpcs-lpm 左VPCエンドポイ

みなさんこんにちは! 技術1課中村です。 今日の記事は、VPC Endpointを使ってS3にアクセスする話です。 VPC Endpoint自体は今年の5月にリリースされた機能となります。 S3、使ってますか？ ところで、S3は皆さん使ってますか？ 容量は無限、99.999999999% の堅牢性と、99.99%の可用性、 さらにはストレージ料金は1GBあたり$0.033(東京リージョン)と、素晴らしいサービスです。 AWSではEC2に並ぶ有名なサービスだと思います。 さらには、最近はクロスリージョンレプリケーションの機能も追加され、 大規模災害にも備えることができるようになりました。 ただし、S3にアクセスするにはインターネットを経由してアクセスしなければならない、という制約がありました。 そのため、インターネットに出る必要ない業務システムなどをAWSに構築した場合でも、 S3にアクセス

AmazonのマネージドサービスとしてElasticsearch+Kiban4が使えるAmazon Elasticsearch Serviceが発表されました。 【AWS発表】Amazon Elasticsearch Service 以前fluentdを使ってELBのログをElasticsearchに取り込むことをやってみたのですが、その場合、fluentdを動かすサーバーが必要です。 ELBのアクセスログをfluentd(fluent-plugin-elb-access-log)+Elasticsearch+kibanaで可視化する 今であればLambdaがTokyoリージョンにあって使えるのでS3へのELBアクセスログのアップロードをイベントにして、Lambdaで処理してElasticsearchに登録することでサーバーレスで可視化ができそうだと思い、やってみたのでメモ。 Lambda

はじめに 藤本です。 AWS LambdaがPythonに対応してから色々なことを試しています。 概要 ELBのアクセスログはS3に出力することが可能です。5分なり、1時間なりで定期的にS3にログファイルが作成されます。S3に集約することは簡単でもS3に出力されたファイルはAPIによるアクセスが必要、ログファイルが細かく分割されていることもあり、可読性の面においては優れていません。 そこでAWSではログを管理できるサービスとしてCloudWatch LogsやAmazon Elasticsearch Serviceを用意しています。Amazon Elasticsearch Serviceに関してはAWSのGithubでS3 -> AWS Lambda -> Elasticsearchの流れとなるソースコードが公開されています。ありがたい！これにより簡単にログデータを取り込むことが可能です。

はじめに 皆さん、CloudWatchは活用されていますか？CloudWatchはとても便利なサービスで、特別な監視システムを入れなくとも、AWSの標準的な仕組みとしてAWSリソースのモニタリングを行ってくれます。またアラームの設定も行えますので、例えば「EC2のCPU使用率が閾値を超えた場合にメール通知する」といった通知の仕組みもAWSだけで簡単に設定できます。 このCloudWatchアラームの仕組みを使えば、ELBとEC2による負荷分散システムにおいて、EC2のサービス監視が行えます。具体的には、ELBの分散対象であるEC2でHTTPなどの分散対象サービスが正常に動作していない場合に、アラームを発報しメール通知などを行うことで、早期にシステム障害を検知することが出来ます。 この記事では、ELB分散対象のEC2で発生したサービス障害を検知するプラクティスをご紹介します。 EC2の状態毎

lambdaが楽しいらしい。 とりあえず動かしてみた。（2015/05/04 00:00ごろ） 目標 S3の特定のバケットにファイルがアップロードされたらメールでダウンロードリンクを通知する。 準備 Lambdaが使えるリージョンでバケットを作成 Amazon SNSでTopicを作成 作ったTopicに対してSubscriptionをemailで作成 やったこと Lambdaで新しいfunctionを作成。 Code entry typeを inline CodeTemplate を"S3 Get Object" ロールはBasicExecutionRoleで動作した。（他のサービスへの許可いらないのかなーなどと思ったけど放置） 他はデフォルト値。 zipにしてライブラリなどごとごそっとあげてもいいようだけど、今回はやらない。 できたもの 上記の"S3 Get Object"のテンプレー

Webで負荷分散する場合、アプリケーションは簡単にスケールアウト出来ますが、DB（がRDBMSの場合）は１つに集約するパターンが多いと思います。 しかしこの構成だとどうしてもDBが性能面でのボトルネックとなりがちで、それを解消する１つのスケーリングテクニックとしてReadをレプリカへ分散させるというものがあります。 今回はそれをAmazon RDSのリードレプリカとmulti_dbというgemを使って試してみました。 すでにDBはRDS（MySQL）を利用しているがリードレプリカは利用していない、ということをスタート地点としています。 Amazon RDSのリードレプリカAmazon Web Services ブログ: Amazon RDSの新機能：Read Replica(リードレプリカ)の発表 リードレプリカとはその名の通り、RDSの読取り専用複製インスタンスです。 RDSマスタから定

この文書について 先日ベータ版が公開されたAWS IoT（AWS上でサーバーインスタンスを自分で用意する事なくMQTTブローカー（+α）のサービスを利用できる）をRubyクライアント(ruby-mqtt)から試してみた個人的なメモです。 本家のクイックスタートを見つつ、AWS IoT Message BrokerのMQTTでpub/subをやってみたも参考にさせて頂きつつやってた覚書ですが、現時点（2015/10/14）でAWS IoTはベータ版であり、今後サービスの仕様が変わる可能性があるため、できるだけ本家のドキュメントを参照される事をおすすめします。 AWS IoTではクライアント側のSDKも提供されているようですが、今回はオープンソースで公開されているMQTTクライアントを使ってPub/Subを試してみます。 AWS IoTの概念についてはLearn how AWS IoT wor