原題 ABD202 - Best Practices for Building Serverless Big Data Applications 概要 Serverless technologies let you build and scale applications and services rapidly without the need to provision or manage servers. In this session, we show you how to incorporate serverless concepts into your big data architectures. We explore the concepts behind and benefits of serverless architectures for big data, looki

原題 ABD201 - Big Data Architectural Patterns and Best Practices on AWS 概要 In this session, we simplify big data processing as a data bus comprising various stages: collect, store, process, analyze, and visualize. Next, we discuss how to choose the right technology in each stage based on criteria such as data structure, query latency, cost, request rate, item size, data volume, durability, and so on

こんにちは、菊池です。 AWS re:Invent 2016で発表された『AWS Step Functions』は、Lambdaで実装した処理をうまく連携させることができます。 Step Fanctions と Lambda を使ってスポットインスタンスの自動入札を試してみましたので紹介します。 やりたいこと スポットインスタンスの入札をして起動できればOK、起動できなかった場合にはオンデマンドインスタンスを起動する。 スポットインスタンスのリクエスト 入札処理を待つ 入札結果を確認 落札NG -> 4.へ 落札OK -> 5.へ オンデマンドでインスタンスを作成 結果をAmazon SNSへ通知 ユースケースとして、 日次で起動するEC2インスタンスを、スポットインスタンスで安価に起動したい。 けど起動できないのは困るので、落札できなければオンデマンドインスタンスで起動する。 といった処

西澤です。S3の新コンソールUIに合わせてリリースされた4つの新機能のうちの1つ、S3 Inventoryを試してみたので、ご紹介します。訳(後述)あってご紹介が遅れました、すみません。 その他のリリースについてはこちらをご確認ください。 S3コンソールが新しくなりました ｜ Developers.IO 【新機能】S3 のオブジェクトへタグが設定できるようになりました ｜ Developers.IO 【新機能】S3 Analytics, Storage Class Analysisを試してみた #reinvent ｜ Developers.IO [新機能] Amazon S3で新しいメトリクスが利用出来るようになりました #reinvent ｜ Developers.IO S3 Inventoryとは S3 Inventoryは、S3に保管されたオブジェクトの一覧を定期的に出力してくれる機

Run Command、Lambda Function があれば大概のことはできそうですね。Lambda Function 使うなら Step Functoins でもいいのか。うーん、棲み分けがまだ分かってない。 やってみた Automation を利用するには下記の流れで実施します。 IAM Role 作成 Automation の Document を定義 Automation の実行 今回はSystems Manager Automation WalkthroughsのAmazon Linux版をやってみました。 Walkthroughs の Automation で実施する処理は以下となります。 AMI からインスタンスを起動 RunCommand によりシステムアップデート インスタンスを停止 停止したインスタンスから AMI を取得 インスタンスを終了 上記だと、Packer