![Amazon Kinesis
Data
Sources
AWS
Endpoint
App.1
[Aggregate
&
De-‐Duplicate]
Data
Sources
Data
Sources
S3
Redshift
App.3
[Sliding
Window
Analysis]
Availability
Zone
Shard 1
Shard 2
Shard N
Availability
Zone
Availability
Zone
Amazon Kinesis
データINPUT データOUTPUT
" データのストリーミング処理理のためのマネージドサービス
" ⼤大量量のセンサーやデバイス、モバイル端末などからのデータ
を受け取り、バックエンドの処理理へつなぐことが可能
各種処理理データ保持](https://image.slidesharecdn.com/iot-designpattern-jaws-okinawa-201504-150428191630-conversion-gate01/85/IoT-2015-JAWS-15-320.jpg)
IoTデザインパターン 2015 JAWS沖縄
- 1. IoTを⽀支えるAWSサービス と デザインパターン アマゾン データ サービス ジャパン 株式会社 パートナーソリューションアーキテクト 榎並利利晃
- 2. ⾃自⼰己紹介 • 名前 – 榎並 利利晃（えなみ としあき） – [email protected] • 役割 – パートナーソリューションアーキテクト – 主にエマージングパートナー様を担当 • 好きなAWSのサービス – Amazon Kinesis – AWS Lambda @ToshiakiEnami
- 4. Amazonのビジネスモデル • High Volume / Low Margin • 「規模の経済」と「効率率率化」 • このビジネスサイクルを回し続ける お客様に便便利利をご提供
- 5. 価格改定 $0.15/GB $0.12/GB $0.105/GB $0.095/GB $0.09/GB $0.065/GB 2006 2007 2008 2009 2010 2011 2013 2013 2014 $0.030/GB ・過去 45回 の値下げ ・AWSが値下げした時点で、コストが⾃自動的に安くなる （2014年年7⽉月現在） 例例）Amazon S3の⽉月額単価の推移
- 7. Enterprise Applications Virtual Desktop Sharing & Collaboration Platform Services Analytics Hadoop Real-time Streaming Data Data Warehouse Data Pipelines App Services Queuing & Notifications Workflow App streaming Transcoding Email Search Deployment & Management One-click web app deployment Dev/ops resource management Resource Templates Mobile Services Identity Sync Mobile Analytics Push Notifications Administration & Security Identity Management Access Control Usage Auditing Key Storage Monitoring And Logs Core Services Compute (VMs, Auto-scaling and Load Balancing) Storage (Object, Block and Archival) CDN Databases (Relational, NoSQL, Caching) Networking (VPC, DX, DNS) Infrastructure Regions Availability Zones Points of Presence
- 8. ・2014 516以上の 新サービス、新機能をリリース ・機能追加はAWSが実施 ・仮想化基盤への適⽤用作業が不不要 ・バージョンアップ費⽤用が不不要 機能追加/改善 2009 Amazon RDS Amazon VPC Auto Scaling Elastic Load Balancing +48 2010 Amazon SNS AWS Identity & Access Management Amazon Route 53 +61 2011 Amazon ElastiCache Amazon SES AWS CloudFormation AWS Direct Connect AWS Elastic Beanstalk GovCloud +82 Amazon CloudTrail Amazon CloudHSM Amazon WorkSpaces Amazon Kinesis Amazon Elastic Transcoder Amazon AppStream AWS OpsWorks +280 2013 Amazon SWF Amazon Redshift Amazon Glacier Amazon Dynamo DB Amazon CloudSearch AWS Storage Gateway AWS Data Pipeline +159 20122008 +24 Amazon EBS Amazon CloudFront +516 2014 Amazon Cognito Amazon Zocalo Amazon Mobile Analytics AWS Directory Service Amazon RDS for Aurora AWS CodeDeploy AWS Lambda AWS Config AWS Key Management Service AWS Service Catalog Amazon EC2 Container Service AWS CodePipeline AWS CodeCommit
- 10. 様々なマーケットで利利⽤用可能 製造 • メンテナンス • オートメーション 交通 • ⾞車車両センサー • トラフィック エネルギー • スマートメータ • メンテナンス 家電 • スマート家電 • オートメーション ヘルスケア • 医療療機器 • 遠隔医療療 農業 • スマートメータ • ⾃自動制御
- 11. " 不不確実なビジネスモデル " ユーザー数の増加 " 情報量量/通信量量の増加 " 多くのシステム構築 " セキュリティの確保 IoTが抱える様々な問題に対してAWSクラウドは 最良良の選択肢 様々な課題 AWSで解決！ " 使っていただいた分だけの利利 ⽤用料料、低コスト、低リスクで素 早く実験 " スケールイン・アウト " 40を超えるサービス " ⾼高いセキュリティ
- 13. 基本構成 アーカイブ ETL 分析 モバイル センサー 親機 データ永続化 ストリーム • トラフィックの増減に合 わせた柔軟性 • 受信したデータに対する 信頼性 ⽤用途に合わせた様々な システム
- 15. Amazon Kinesis Data Sources AWS Endpoint App.1 [Aggregate & De-‐Duplicate] Data Sources Data Sources S3 Redshift App.3 [Sliding Window Analysis] Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone Amazon Kinesis データINPUT データOUTPUT " データのストリーミング処理理のためのマネージドサービス " ⼤大量量のセンサーやデバイス、モバイル端末などからのデータ を受け取り、バックエンドの処理理へつなぐことが可能 各種処理理データ保持
- 16. Amazon Kinesis 特徴 容易易なトライ＆エラー • １つのデータを複数のアプリ ケーションで利利⽤用できるため アプリケーション毎に追加・ 削除できる データ処理理・インテグレーション • Kinesis Client Libraryを使うこと により容易易にKinesisアプリケー ションの開発ができる • Kinesis Connectorを⽤用いること でAmazon S3, Redshiftや DynamoDBなどAWSのサービス とのインテグレーションが容易易
- 17. Amazon Kinesis 基本構成パターン • ⽬目的毎にアプリケーションを構成するパターン • それぞれのアプリの可⽤用性・信頼性に合わせた設計 センサー センサー センサー アプリ２ Dashboard アプリ１ Redshift DynamoDB 例例：リアルタイムダッシュボード Kinesisからのデータ取り出しと処 理理にAWS Lambdaも利利⽤用可能
- 18. AWS Lambda " AWS Lambdaは、スケーラブルかつ信頼性の⾼高いクラウド上で、イベ ントをトリガーにお客様独⾃自のコードを稼働させるComputeサービス § インスタンスやOS等インフラの管理理作業が不不要 § 毎⽇日数件から毎秒数千件のリクエストまで⾃自動的にスケール § 従量量課⾦金金、実際にコードが稼働した時間に対してのお⽀支払 § 新たに追加された情報に対して即座に応答するアプリケーションを、特別な仕組みな く簡単に実装できる イベント 結果 KinesisやDynamoDBへのデータ⼊入⼒力力 S3へのオブジェクトPut SNSイベント通知
- 19. イベントドリブンでの処理理実⾏行行 Event: Arrived Home Command: Lights On
- 21. Amazon DynamoDB • NoSQL as a Service • 超⾼高速・予測可能な⼀一貫したパフォーマンス • シームレスなスケーラビリティ、そして低コスト 運⽤用管理理必要なし 低レイテンシ、SSD プロビジョンスループット 無限に使えるストレージ
- 22. DynamoDB streams センサー センサー センサー アプリ Lambda Function • DynamoDBテーブルに対する変更更情報をストリームとしてデータ処理理するアプリや Lambda Functionが受信し、データ処理理することができる • 変更更情報は24時間保存 • テーブル内データの複製を 作成することも可能
- 24. Amazon Redshift " フルマネージドのデータウェアハウスサービス • DB構築は数クリックで完了了 • ⾃自動バックアップ、障害時の⾃自動復復旧 " 従来のBIツール/SQLでの利利⽤用が可能 " 最⼤大2PBのデータ容量量までの拡張性 " 従量量課⾦金金で利利⽤用可能 • 初期費⽤用、ライセンス費⽤用不不要 • 30円/時間〜～ • 従来のDWHソリューションの1/10の費⽤用 ※1ドル＝100円で計算 Redshift
- 26. EMR とは クラウドにある Hadoop Hadoopは膨⼤大なデータをクラスタ上で パラレル処理理するためのオープンソース フレームワーク Elastic MapReduce（EMR） AWS上のHadoopサービス • 簡単かつ安全にビッグデータ を処理理 • 数千のお客様、多数の実績 簡単スタート • 数クリックでHadoopセット アップ 低コスト • ハードウェアへの投資不不要 • 従量量課⾦金金制 • 処理理の完了了後、クラスタを削 除して課⾦金金停⽌止 • Spotインスタンスの活⽤用
- 27. Kinesis – EMRインテグレーション • Kinesisに集積されたデータをHive、PigなどのHadoopツールを⽤用いてETL処理理（Map Reduce 処理理）が可能 • 別のKinesis Stream, S3, DynamoDB, HDFSのHive Tableなどの他のデータソースのテーブ ルとJOINすることなども可能 • Data pipelineやCronなどで定期実⾏行行することにより、定期的にKinesisからデータを取り込み、 処理理することが可能 EMR Cluster S3 Data Pipeline 構成例例 DataPipelineで定期的にHiveを実 ⾏行行しKinesisにあるデータを処理理。 結果をS3に格納 Kinesis
- 29. Cognitoインテグレーション • CognitoとMobileSDKを⽤用いて容易易にKinesisなどにデータ⼊入⼒力力が可能 • 認証または、⾮非認証でKinesisへのアクセストークンをテンポラリに取得しデータ⼊入 ⼒力力が可能 Get Cognito ID 親機 Cognito Authorization Cognito ID モバイル
- 31. MQTT Broker Kinesis-‐MQTT Bridge MQTTインテグレーション • センサーデバイスなどライトウェイトなプロトコル（MQTT)を利利⽤用するパターン • MQTT BrokerとMQTT-‐‑‒Kinesis Bridgeを⽤用いてメッセージをKinesisに⼊入⼒力力するこ とが可能 • GithubからMQTT-‐‑‒Kinesis Bridgeサンプルソースが取得可能 https://github.com/awslabs/mqtt-‐‑‒kinesis-‐‑‒bridge MQTT Broker Kinesis-‐MQTT Bridge センサー センサー センサー Auto scaling Group データ処理
- 34. re:invent 2014 -‐‑‒ ARC 306 http://www.slideshare.net/AmazonWebServices/arc306-‐‑‒iot-‐‑‒small-‐‑‒things-‐‑‒and-‐‑‒the-‐‑‒cloud-‐‑‒aws-‐‑‒reinvent-‐‑‒2014 参考：Pragma architecture (“Pragma” is Greek for “thing”) Small Thing Serving LayerIntermittent Layer Speed Layer Telemetry Commands Device DevOps Audit & Authorization Web Apps
- 36. AWSの利利⽤用事例例
- 37. Amazonでの取り組み Amazon Drone Amazon Dash Amazon echo 2lemetryの買収 2lemetry IoTプラットホーム提供サービスプロバイダー
- 38. スシロー様 レーン上に流流れる寿司情報をリアルタイムにクラウドに転送。来店状況 やオペレーション状況をリアルタイム把握 • 全てのすし⽫皿に ICタグを取り付けて売上管理理 • Amazon Kinesisを利利⽤用し、レーン上を流流れる寿司情報をリアルタイムにクラウド上に転送 • オペレーション状況をほぼリアルタイムで把握する事が可能となりました。 • Amazon Redshiftに蓄積することで、レーンを流流れる寿司のストリーミング分析実現
- 39. ガリバー様 http://221616.com/gulliver/news/blog/20140708-13599.html より抜粋 " クルマから得られる様々な⾛走⾏行行情報をク ラウドにアップロードすることで、ユー ザーとの双⽅方向なコミュニケーションを 実現するプラットフォーム「DRIVE+」 にAmazon Kinesisを採⽤用 " Amazon Kinesisを通じて⾞車車の⾛走⾏行行情報 をリアルタイムに取得し、即座にデータ 検知可能に。また開発⼯工数と費⽤用を⼤大幅 に削減
- 41. Risk Technology様 The CHALLENGE 数百万の⾃自動⾞車車からほぼリアルタイムに送付される ⼤大量量のデータを、リアルタイムで分析し、運転⼿手の スコアリングや、⾃自動⾞車車事故などを検出する RISK Technology は、保険と⾃自動⾞車車テレマティクスの グローバルなソリューションプロバイダー
- 42. まとめ