AWS上で使えるストレージ十番勝負

AWS上で使える
ストレージ十番勝負！
2013/5/7
SKILL BASECAMP 2013

Copyright © 2012 Amazon Web Services
自己紹介
名前
 片山暁雄
所属
 アマゾンデータサービスジャパン
 技術統括本部エンタープライズソリューション部
 部長/ソリューションアーキテクト
Twitter
 @c9katayama
好きなAWSサービス
 Amazon Simple Workflow Service

本日のゴール
AWSのストレージ群を把握する
各ストレージについて、機能や利用シーンを把握する
自宅に帰り、すべてのストレージを試してみる

AWS(Amazon Web Services)のご紹介
まとめ
本日のアジェンダ

AWS(Amazon Web Services)
のご紹介

Copyright © 2012 Amazon Web Services6
カリフォルニア
ダブリン
シンガポール
東京
オレゴン
世界中でサービスを展開中
初期費用なしで全世界のインフラを利用可能
バージニア
サンパウロ
リージョン
エッジローケーション
GovCloud
データは指定した地域に置かれる
シドニー

AWSの様々なサービス
7
お客様のアプリケーション
認証
AWS IAM
モニタリング
Amazon
CloudWatch
Web管理画面
Management
Console
デプロイと自動化
AWS Elastic
Beanstalk
AWS CloudFromation
IDEプラグイン
Eclipse
Visual Studio
ライブラリ & SDKs
Java, PHP, .NET,
Python, Ruby
Development &
Administration
コンテンツ配信
Amazon CloudFront
メッセージ
Amazon SNS
Amazon SQS
分散処理
Elastic MapReduce
メール配信
Amazon SES
キャッシング
Amazon Elasticache
ワークフロー管理
Amazon SWF
Application
Service
コンピュータ処理
Amazon EC2
Auto Scale
ストレージ
Amazon S3
Amazon EBS
AWS StorageGateway
Amazon Glacier
データベース
Amazon RDS
Amazon DynamoDB
Amazon SimpleDB
Amazon Redshift
AWS グローバルインフラ
Geographical Regions, Availability Zones, Points of PresenceAZRegion
ネットワーク & ルーティング
Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect
Infrastructure
Service

www.barackobama.com

Obama for America
有権者の情報管理、資金管理、電話システムなど、200以上のアプ
リケーションをAWS上でホスト
選挙後は必要なデータだけを残してインフラを破棄
アーキテクチャ図：http://awsofa.info/
多くのデータストアを利用
 SQLServer
 HBase
 LevelDB
 mongoDB
 PostgreSQL
 Vertica
 MySQL
 Amazon RDS
 Amazon ElastiCache
 Amazon DynamoDB
 Amazon S3
 Amazon SimpleDB

CloudHSM(Hardware Security Module)
10
© 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of
AWS上で稼働させることのできるHSM
安全な鍵の保管および、耐タンパ性エンクロージャー内の
一連の暗号化操作を提供する専用アプライアンスをAWS上
で提供
現在US-EASTとEUで提供。2013年中にその他リージョン
に拡大予定

12
ところで・・・
AWS上でストレージはいくつある？
1. Ephemeral Disk
2. Elastic Block Store(EBS)
3. AWS Storage Gateway
4. Amazon Simple Storage Service(S3)
5. Amazon Glacier
6. Amazon ElastiCache
7. Amazon SimpleDB
8. Amazon DynamoDB
9. Amazon Relational Database Service(RDS)
10.Amazon Redshift

13
Ephemeral Disk EBS S3 GlacierStorage Gateway
DynamoDBElastiCache RDS RedshiftSimpleDB
揮発性
NoSQL
EC2へマウントバックアップ
YesSQL
関係図
複数AZでの冗長化

1.Ephemeral Disk

1.Ephemeral Disk（インスタンスストレージ）
特徴
 EC2の物理筐体のローカルディスクで、EC2にマウント可能
 インスタンスにより、利用可能なサイズが決まっている
• t1.micro,m3は利用不可。hs1は48TB
利点
 無料！
 任意のファイルフォーマットが利用可能
 SSDが利用可能（hi1.4xlargeが2TB,cr1.8xlargeが240G)
注意点
 インスタンスを停止すると、データが消去される
 スナップショット機能はない
EC2
/dev/xvdg
/dev/xvdf
S3
揮発性
EC2へマウント

Ephemeral Diskの用途
EC2からマウントして使うデータの格納
計算時の一時ファイルや、画像処理の一時データなど
キャッシュファイル
大容量のデータを1インスタンスに格納する場合
SSDのIO速度が必要な場合
S3

2.Amazon Elastic Block Store

特徴
 EC2にマウント可能なネットワーク
ストレージ
利点
 任意のファイルシステムが利用可能
 スナップショット機能搭載
 複数EBSを1つのEC2インスタンスに
アタッチ可能
 EBSを別のEC2にマウントしなおす
事も可能
注意点
 1EBSあたり最大1TB
 複数のEC2から1つのEBSをマウント
することは出来ない
Region
Availability Zone - a
EBS EBS EBS
Availability Zone - b
EBS EBS
S3
EBS
Snapshot
EC2 EC2
2.Amazon Elastic Block Store(EBS)
EC2へマウント

EBSスナップショットの取得処理方式
S3への連携は差分で、格納は全分で行われる
EBS
10G
EBS
10G
EBS
10G初回
Amazon Simple
Storage Service (S3)
に実ファイルが格納
2回目 3回目
A
A
B B
B
C
C
A B B C
スナップ
ショット
の概念
1G
1G
1G 1G 1G
計1G
計1G 計2G
←変更
差分
←変更
差分
計2G
初回は全分１Gが取得 2回目は差分
１Gのみが取得
3回目は2回目との
差分１Gのみが取得
スナップショットの概
念として、各時点の全
分が確保される。
S3に格納される実
ファイルベースでは
スナップショットに
紐づくファイルを差
分で管理される。
(利用容量ベースで
合計3G)
連携は差分

EBSスナップショットのリストア処理方式
戻したいスナップショット時点に全分方式でリストアすることが可能
(当然Diskの物理交換も不要で、EBSの特徴的な機能)
EBS
10G
EBS
10G
EBS
10G初回
Amazon Simple
Storage Service (S3)
に実ファイルが格納
2回目 3回目
A
A
B B
B
C
C
A B B C
スナップ
ショット
の概念
1G
1G
1G 1G 1G
計1G
計1G 計2G
例えばこのスナップショットを削除
計2G
障
害 EBS
10G
B計1G
2回目スナップショッ
トの取得時点に戻した
い場合
残りのスナップ
ショットに無い
データAは削除される
2回目時点

全領域に一旦アクセスしておく
より大きなインスタンス/より大きなEBSボリューム
ストライピングによる性能向上
Provisioned IOPS
 1ボリューム最大4000IOPSまで指定可能なオプション
 16KB以下のブロックサイズの場合、指定IOPSの10%以
内に収まる性能を、年間99.9%の時間で提供
EBS-Optimized Instance
 EC2とEBS間のネットワークを最適化するオプション
 最大2Gbpsの帯域を確保
 Provisioned IOPSと一緒に利用すると効果が高い
EC2
EBSの性能向上
EC2
Optimized
P-IOPS

様々な暗号化製品の利用が可能
 Windows Bitlocker (Microsoft）
 Secure Cloud(TrendMicro)
 SafeNet ProtectV (SafeNet)
 Crypt Setup(OSS)
冗長化機能や分散FSも利用可能
 DRBD(OSS)
 ClusterPro (NEC)
 GlusterFS (OSS)
 Redhat Storage Server (Redhat)
EBSの暗号化/冗長化
EC2 EBS
EC2 EBS
レプリカ

NASAのWebシステムアーキテクチャ
・WebサーバにNginx、CMSにRailo
を使用
・GlusterFSをCMSのファイ
ル共有ディスクに
・使用サービス：
CloudFront,Route53,ELB,EC2,RDS,
S3,CloudWatch

GlusterFSをAWSで実行すると・・
サーバ、ディスクの調達が容易
 時間課金で試すのが簡単
異なるデータセンター間・遠隔地へのレプリカテストが
容易
 世界中のデータセンターが使える
GlusterFSを使用して、冗長的なアーキテクチャを実装
可能
 最も困難なデータ冗長化を実現
 クラウドアーキテクチャの自由度が大幅にUP

レプリケーション
複数のリージョンを使ったシステム
 例えば日本とシンガポールをまたいだシステム構築
 バックアップシステムやDRシステム
Geo-Replication
 遠隔地へ、非同期でデータを同期
 マスター/スレーブモデル
Replicated Volumes Geo-replication
クラスター内でデータをミラーリング地理的に離れたクラスタでデータ
をミラーリング
高可用性を提供バックアップやＤＲ用途
同期処理非同期処理

EC2 EBS
EC2 EBS
EC2 EBS
EC2 EBS
ＵＳリージョン
（マスター）
シンガポール
（スレーブ）
レプリカ
レプリカ
Geo-Replication

EC2からマウントして使うデータの格納
OSやDBなど、永続性が必要なデータの格納
スナップショット取得が必要なデータ
アベイラビリティゾーン/リージョンをまたいでコピーしたいデータ
EBSの用途
EBS
S3
EBS
Snapshot
EBS
Region
Region
リージョン
間コピー

3.AWS Storage Gateway

特徴
 EC2からiSCSIでマウント可能な仮想アプライアンス
 SGWへ書き込んだデータは、自動的にS3へバックアップされる
• EBSのスナップショット形式で保存
 オンプレミスにも展開が可能
• AWS上ではAMI、オンプレではVMWare/HyperV形式で提供
3.AWS Storage Gateway(SGW)
EC2へマウント
バックアップ
S3
EBS
Snapshot
EC2 EC2
SGW
サービス
iSCSI iSCSI

Gateway-Stored Volumes
 オンプレミス向けのモード
 作成する容量と同容量のディスクをSWGの仮想アプライアンスに
用意するモード
 S3へは、定期的にバックアップ（最短1時間）
 1ディスク最大1TB、1SGWで最大12TBまでサポート
Gateway-Cached Volumes
 オンプレミス/EC2向けモード
 プライマリデータをS3に持ち、直近アクセスデータのみローカル
に持つモード
 S3へは、逐次データを転送
 1ディスク32TB、1SGWで最大150TBまでサポート
2つの動作モード
1T1T
1T32T

ファイルサーバ用のストレージ
バックアップディスク代わり
オンプレミスのDR対策
SGWの用途
S3
EBS
Snapshot
EC2 EC2
SGW
サービス
iSCSI

4.Amazon Simple Storage
Service

特徴
 インターネット接続されたストレージ
 HTTP(S)でファイルを入出力
利点
 高いデータ耐久性
 容量制限なし（1ファイル上限5TB)
 従量課金
 AES256の暗号化機能の利用が可能
注意点
 CIFSやNFSでは接続できない
4.Amazon S3
アベイラビリティ
ゾーン
ゾーン
ゾーン
リージョン
データを
自動複製
バックアップ

ファイルのバックアップ
 多くの商用製品がバックエンドにS3を利用可能に
ログファイルや分析ファイルなどの大量データの格納
画像や動画などの格納
 S3から直接配布が可能
S3の用途
EC2
EBS
EMR
Dynamo
DB
…
…
…
…

5.Amazon Glacier

特徴
 Glacier = 氷河
 インターネット接続されたアーカイブ
 HTTP(S)でファイルを入出力
利点
 高いデータ耐久性
 容量制限なし（1アーカイブ上限40TB)
 従量課金 1GB 月間約1円
 AES256で自動的に暗号化
注意点
 1度ファイルを入れると、取り出すのに
3-4時間必要となる
 ファイル名は自動採番されたものに変わ
る
5.Amazon Glacier
ゾーン
ゾーン
ゾーン
リージョン
データを
自動複製
バックアップ

S3のバケットにライフサイクル設定を行なう事で、一定時間
経ったデータを自動的にGlacierに転送
転送されたあとも、S3にファイル名が残せる
 インデックスの作成が不要
GlacierからS3への復帰も可能
S3との連携機能
1年後
Ｓ３ Glacier

企業データ、画像/動画などの資産、科学技術データの保存
ログファイルや分析ファイルなどの大量データの格納
めったに利用しないが、法律や規約などで保存が必要な情報
テープバックアップからの乗り換え
Glacierの用途

6.Amazon ElastiCache

特徴
 Memcahed互換のキャッシュストレージ
 キーとバリューのデータをオンメモリで保持
利点
 1クリックでMemcachedサーバの起動が可能
 障害発生に自動復旧
 クラスタを組む事も可能
注意点
 ElastiCacheのデータは揮発性のため、バックアップを取得
することは出来ない
用途
 Memcachedの置き換え
 アプリケーションデータやDBアクセスのキャッシュ
EC2
6.Amazon ElastiCache
揮発性
NoSQL

7.Amazon SimpleDB

特徴
 REST APIでアクセスする、スキーマフリーの独自データベース
 キーと、アトリビュート（キー名と値のペア）でデータをストア
 データ量と、クエリーの計算量で課金
利点
 DB管理は一切不要。スケールアウトやデータ分散はAWSが実施
 フルオートインデクシング
 SQLライクなクエリーの実行が可能
注意点
 1ドメイン（1テーブル）あたり最大10GB、10億アイテムまで
 ドメインをまたいだJOINやトランザクションは未サポート
7.Amazon SimpleDB
NoSQL

格納する属性が決まっていない、半構造化データの格納
DBの管理負荷を減らしたい場合
複雑なトランザクションが不要なデータの格納
 メタデータや管理用データなどの格納
SimpleDBの用途

8.Amazon DynamoDB

REST APIでアクセスする、スキーマフリーの独自データ
ベース
ハッシュキーと、属性（キー名と値のペア）でデータをス
トア
3か所のデータセンターのSSDにデータを保存
8.Amazon DynamoDB
NoSQL

利点
 DB管理は一切不要。スケールアウトやデータ分散はAWSが実施
 データ容量無制限（レコード数の制限がない）
 読み込み/書き込みのスループットの指定が可能
 強い一貫性を保ちながら、数ミリ秒の低遅延でアクセス可能
注意点
 検索は、ハッシュキー、レンジキー、ローカルセカンダリイン
デックスが対象
 属性を使った検索はフルスキャンが必要
DynamoDBの機能

DBの管理負荷を減らしたい場合
一貫した読み込み/書き込み速度が必要な場合
大容量のデータストアが必要な場合
DynamoDBの用途
EC2
EC2
EC2
EC2
EC2
100,000write
200,000read

9.Amazon Relational
Database Service

9.Amazon Relational Database
Service(RDS) 複数AZでの冗長化
YesSQL
マネージされたRDBMSサービス
 MySQL、Oracle、SQLServerが利用可能
バックアップやフェイルオーバーに対応したDBを、数
クリックで利用可能
ライセンスも従量課金で利用可能
EC2

RDSの機能
さまざまなマネージド機能
 ポイントタイムリカバリ、スナップショット、パッチ適用、自
動フェイルオーバー
リードレプリカの追加
 MySQL/5台まで
ポイントタイム
リカバリ
スナップ
ショット
データ同期
自動フェイルオーバー
パッチ適用
AZ-a AZ-b
リード
レプリケーション

RDSの性能
8仮想コア、68 GBメモリのDBサーバまで利用可能
3TBまでのストレージを利用可能
 OracleとMySQLの場合。SQLServerは1TB
Provisioned IOPSも利用可能
 MySQL,Oracleは30000,SQLServerは10000上限

RDSの用途
SQLでのアクセスが必要なアプリケーション実行
開発、テスト環境
Oracle,MySQL,SQLServerの置き換え

Data Warehouse as a Service
 分析用に整理された大量の統合業務データの管理サービス
 フルマネージドサービス
拡張性：数百GB～1.6PBまで拡張可能
高速：カラムナ型、超並列演算(MPP)
低額：インスタンスの従量課金
10.Amazon Redshift

行型 vs. カラムナ型
DWHにはカラムナ型のデータベースが用いられる
orderid name qty
1 Book 100
2 Pen 50
…
n Eraser 70
orderid name qty
1 Book 100
2 Pen 50
…
n Eraser 70
行型 – トランザクション処理向きカラムナ型 – 分析処理向き

耐久性・可用性
 S3へのバックアップ、ノード・ドライブ故障への対応
連携
 インプットデータはS3、DynamoDBなどのAWSサービスから
の連携
Postgres SQL JDBC/ODBC ドライバを使ったSQLクライア
ント、BIツールをサポート
Amazon Redshiftの機能

アーキテクチャー
リーダーノードを経由して
クエリーを実行
各コンピュートノードで演算が
並列実行
各コンピュートノードにローカ
ルストレージを保持
コンピュートノードはhs1.xlと
hs1.8xlから選択
BIツール
リーダー
ノード
コン
ピュート
ノード
コン
ピュート
ノード
コン
ピュート
ノード
JDBC/ODBC
10GigE Mesh
SQL エンドポイント:
• クエリーの並列化
• 結果を生成
クエリー実行ノード
• “N” スケールアウト
を実現
• ローカルディスク
S3, DynamoDB, EMRとの統合

DWノード（コンピュートノード）
High Storage Extra Large (XL) DW Node:
 CPU: 2 virtual cores
 ECU: 4.4
 Memory: 15 GiB
 Storage: 3 HDD with 2 TB of local attached storage
 Network: Moderate
 Disk I/O: Moderate
 API: dw.hs1.xlarge
High Storage Eight Extra Large (8XL) DW Node:
 CPU: 16 virtual cores
 ECU: 35
 Memory: 120 GiB
 Storage: 24 HDD with 16 TB of local attached storage
 Network: 10 Gigabit Ethernet with support for cluster placement groups
 Disk I/O: Very High
 API: dw.hs1.8xlarge

シングルノード (2TB)
クラスター 2 – 32ノード（4TB – 64TB)
クラスター 2 – 100ノード（32TB – 1.6PB)
拡張性
Extra Large Node (XL) 8 Extra Large Node (8XL)
数百GBから数PBまで拡張可能

クエリー
PostgreSQL JDBC/ODBCドライバ経由で標準的な
SQLを実行可能
対応BIツール
• ACTUATE
• birst
• JASPERSOFT
• MicroStrategy
リーダーノードに接続し、クエリー実行
 リーダーノードがクエリーを分配し、C++のコードを生成、
コンピュートノードで実行
 使用可能な全コンピュートノードにおいてリーダーノードに
結果を返す
• pentaho
• PERVASIVE
• tableau
など

可用性
データはプライマリとは、別ノードにセカンダリコピーが保
存される
ドライブの故障は透過的に処理
 リーダーノードは自動的にクエリーをセカンダリ・コピーにル
ート
 冗長性を維持するために、データの再配置が実行される
単一・複数ノードの故障
 新規ノードが割当てられるまで、クラスタは使用不可となる
 自動的に他ノードからデータがコピーされる
 複数ノード障害時にプライマリ/セカンダリのデータを損失した
場合、スナップショットからの復旧が必要となる

SQL発行が必要な分析アプリケーション
大量のデータを元に分析を行なうケース
既にＢＩツールを利用しているケース
Redshiftの用途
Your
BI Tools
Amazon Redshift
JDBC/ODBC

まとめ

高速、大容量、高耐久性、さまざまなストレージが
利用できる
既存の資産に加えて、ＡＷＳクラウドならではの選択も
RAIDや分散FS、大規模ストレージなどもAWSなら安価
に実験が可能
まとめ

AWS 無料使用枠
Amazon EC2 750時間/月のLinux マイクロインスタンス
 複数インスタンスでも、合計750時間/月であれば無料利用枠に該当
Amazon EC2 750時間/月のWindows Server マイクロインス
タンス
 複数インスタンスでも、合計750時間/月であれば無料利用枠に該当
Amazon EBS
 30 GB に加え、200万 I/O、スナップショットストレージ 1 GB
Elastic Load Balancing
 750時間に加え 15 GB 分のデータ処理
帯域幅「送信（アウト）」15 GB

1. Ephemeral Disk
2. Elastic Block Store(EBS)
3. AWS Storage Gateway
4. Amazon Simple Storage Service(S3)
5. Amazon Glacier
6. Amazon ElastiCache
7. Amazon SimpleDB
8. Amazon DynamoDB
9. Amazon Relational Database Service(RDS)
10.Amazon Redshift
ストレージ無料枠
詳細はhttp://aws.amazon.com/jp/free/

AWS Summit Tokyo 2013
http://www.awssummittokyo.com/
2013/6/5 , 6/6
新高輪プリンスホテル

AWS上で使えるストレージ十番勝負

More Related Content

AWS上で使えるストレージ十番勝負