SlideShare a Scribd company logo
AWSではじめる
 GlusterFS



          2012/7/26
         Linux女子部
自己紹介
名前:片山暁雄 ( @c9katayama )
所属:アマゾンデータサービスジャパン
職種:ソリューションアーキテクト
好きなプログラム言語:
 Java,C#,ActionScript
好きなLinux
 Amazon Linux

         Copyright © 2012 Amazon Web Services
本日のアジェンダ

AWS(Amazon Web Services)のご紹介
AWSではじめるGlusterFS
まとめ




        Copyright © 2012 Amazon Web Services
AWS(Amazon Web Services)
のご紹介




       Copyright © 2012 Amazon Web Services
AWS User Group Japan
    (JAWS-UG)

    現在20支部
                                                    札
     ハッシュタグ                                         幌

     #jawsug
                                        金
             佐   福    神戸 京都             沢           仙
                                                    台
             賀   岡                      東
                                                    クラウド女子会
             熊
                  山               名 浜 静京
             本
                  口 大             古 松 岡
             鹿   宮  阪             屋
         沖   児   崎
         縄   島

             Copyright © 2012 Amazon Web Services
5
世界中でサービスを展開中
                                                            リージョン
                                                            エッジローケーション


      オレゴン
         GovCloud
                                                               東京

                                   ダブリン
               バージニア
    カリフォルニア



                                                           シンガポール
                           サンパウロ

           初期費用なしで全世界のインフラを利用可能

               データは指定した地域に置かれる


6                   Copyright © 2012 Amazon Web Services
AWSの様々なサービス
                                    お客様のアプリケーション
                                                                                               デプロイと自動化
ライブラリ & SDKs               IDEプラグイン           Web管理画面                        モニタリング                               Development &
                                                                認証                              AWS Elastic
 Java, PHP, .NET,              Eclipse        Management                       Amazon
                                                               AWS IAM                           Beanstalk        Administration
   Python, Ruby             Visual Studio       Console                      CloudWatch
                                                                                             AWS CloudFromation


                メッセージ
                                                      メール配信                               ワークフロー管理
               Amazon SNS
                                                     Amazon SES                           Amazon SWF
               Amazon SQS
                                                                                                                   Application
                                                                                                                   Service
              コンテンツ配信                                  分散処理                               キャッシング
             Amazon CloudFront                    Elastic MapReduce                    Amazon Elasticache



                                                    ストレージ                                 データベース
        コンピュータ処理
                                                     Amazon S3                          Amazon RDS
         Amazon EC2
                                                  Amazon EBS                         Amazon DynamoDB
               Auto Scale                                                             Amazon SimpleDB
                                               AWS StorageGateway

                                                                                                                  Infrastructure
                                       ネットワーク & ルーティング                                                            Service
                    Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect



                                        AWS グローバルインフラ
    Region     AZ
                     Geographical Regions, Availability Zones, Points of Presence
7                                            Copyright © 2012 Amazon Web Services
EC2   Amazon EC2(Elastic Compute Cloud)
  リージョン
             アベイラビリティ                                  アベイラビリティ
               ゾーン A           任意のゾーンに                   ゾーン B

                 EC2           分散配置可能
                                1                         EC2



      数分で起動可能な仮想サーバ
      1時間ごとの従量課金で利用可能
      14種類の仮想サーバを選択可能
      Windows, Linuxなどx86-64アーキテクチャのOSが利用可能
      OS以上は自由に触れる
        GlusterFSでもJbossでもインストール可能

                RHELも従量課金!!
                Copyright © 2012 Amazon Web Services
EBS   Amazon EBS(Elastic Block Store)
                        /dev/xvdf
                                      EBS
               EC2                                    S3

                         /dev/xvdg EBS



      EC2にマウント可能なストレージ
      1EBSあたり最大1TB
      複数のEBSを1つのEC2インスタンスにアタッチ可能
       EBSを別のEC2にマウントしなおす事も可能
       ただし複数のEC2から1つのEBSをマウントすることは出来ない
      任意のファイルシステムでフォーマット
      スナップショット機能
       任意の時点の全データをS3へ保管

               Copyright © 2012 Amazon Web Services
AWSではじめるGlusterFS




      Copyright © 2012 Amazon Web Services
GlusterFSをAWSで実行すると・・

 サーバ、ディスクの調達が容易
  時間課金で試すのが簡単
                                     RHELも従量課金!!

 異なるデータセンター間・遠隔地へのレプリカテストが
 容易
  世界中のデータセンターが使える


 GlusterFSを使用して、冗長的なアーキテクチャを実装
 可能
  最も困難なデータ冗長化を実現
  クラウドアーキテクチャの自由度が大幅にUP

         Copyright © 2012 Amazon Web Services
Step1 まずは2台でハンズオン
 t1.microのLinuxインスタンスを同一AZに2台起動

 GlusterFSのインストール
  yum localinstall -y http://adsj-
   demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-3.3.0-
   1.el6.x86_64.rpm http://adsj-
   demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-server-
   3.3.0-1.el6.x86_64.rpm http://adsj-
   demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-fuse-
   3.3.0-1.el6.x86_64.rpm
  service glusterd start              EC2              EBS

                                                              レプリカ

                                                  EC2   EBS

               Copyright © 2012 Amazon Web Services
Step1 まずは2台でハンズオン

 レプリカ設定
  gluster peer probe EC2インスタンス1IP
  gluster peer probe EC2インスタンス2IP
  gluster vol create vol01 replica 2 EC2インスタンス
   1IP:/mnt/ebs/brick-vol01 EC2インスタンス
   2IP:/mnt/ebs/brick-vol01
  gluster vol start vol01


 マウント
  mkdir /mnt/gluster-vol01
  mount -t glusterfs EC2インスタンス1IP:/vol01
   /mnt/gluster-vol01


               Copyright © 2012 Amazon Web Services
片山さん、めんどくさいよ・・・




    Copyright © 2012 Amazon Web Services
良いものアリます!

CloudFormation
 POINT:テンプレートを元に、システムを一気に構成



ボタンをクリックでCF発動




CloudFormationテンプレート
 http://adsj-demo.s3.amazonaws.com/gluster-
  fs3.3/gluster-fs-sample-2replica.json
            Copyright © 2012 Amazon Web Services
Step2 AZ間のデータ同期

インスタンス起動
  t1.microのLinuxインスタンスを異                           EC2    EBS
   なるAZに2台づつ起動            Zone-A
                                                    EC2           EBS
GlusterFSを4台にインストール                                       レプリカ


レプリカ設定                                                           レプリカ
                                                    EC2    EBS
  レプリカを2に設定
                                         Zone-B
  AZで2対になるように設定
                                                    EC2           EBS
ファイルシステムにマウント

             Copyright © 2012 Amazon Web Services
片山さん、更にめんどくさいよ・・・




    Copyright © 2012 Amazon Web Services
もちろんアリます!

CloudFormation
 POINT:作ったシステム構成は、一気に破棄できます。



ボタンで発動



CloudFormationテンプレート
 http://adsj-demo.s3.amazonaws.com/gluster-
  fs3.3/gluster-fs-sample-4replica-2az.json
              Copyright © 2012 Amazon Web Services
Step3 よりグローバルなシステム

 複数のリージョン
   例えば日本とシンガポールをまたいだシステム構築
   バックアップやDRも


 Geo-Replication
   遠隔地へ、非同期でデータを同期
   マスター/スレーブモデル

Replicated Volumes                        Geo-replication
クラスター内でデータをミラーリング                         地理的に離れたクラスタでデータ
                                          をミラーリング
高可用性を提供                                   バックアップやDR用途
同期処理                                      非同期処理

                     Copyright © 2012 Amazon Web Services
全世界17カ所でGluster可能
                                                        リージョン
                                                         ア   ベイラビ   リ ゾーン
                                                                    ティ



       オレゴン

                                                               東京

                               ダブリン
               バージニア
     カリフォルニア



                                                       シンガポール
                       サンパウロ




20              Copyright © 2012 Amazon Web Services
Copyright © 2012 Amazon Web Services
AWS 無料使用枠(12ヵ月)
Amazon EC2 750時間/月のLinux マイクロインスタンス
  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当
Amazon EC2 750時間/月のWindows Server マイクロインスタンス
  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当
Amazon EBS
  30 GB に加え、200万 I/O、スナップショット ストレージ 1 GB
Elastic Load Balancing
  750時間に加え 15 GB 分のデータ処理
帯域幅「送信(アウト)」15 GB
Amazon S3 ストレージ
  5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト
DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch

           十分GlusterFS試せます!


                 Copyright © 2012 Amazon Web Services
Tips
 ネットワークおよびEBSのIOパフォーマンスが欲しい場合
   大きいインスタンス、大きいEBSボリュームを使用して下さい
   EBSの場合、ストライピングも可能

 使用前のウォームアップ
   EBS全領域へ一度書き込む事をお勧めします

 エフェメラルディスクでもGlusterFS
   料金無料の内蔵ディスクもGlusterなら便利に利用可能
   ログの保存などに
   2TのSSDを内蔵したEC2インスタンスもリリース



           Copyright © 2012 Amazon Web Services
まとめ




      Copyright © 2012 Amazon Web Services
まとめ
GlusterFS試すならAWS!

無料枠でも十分試せます!
  申し込み頂ければ$10チケット差し上げます


GlusterFSでクラウド設計をより柔軟に!
 本番利用はRed Hat Storage Serverを!

         RHELも従量課金!!

         Copyright © 2012 Amazon Web Services
来場登録ウェブサイトも
  7月27日(金)
に公開 ・ 受付開始決定!

  Copyright © 2012 Amazon Web Services
27

More Related Content

AWSではじめるGlusterFS

  • 1. AWSではじめる GlusterFS 2012/7/26 Linux女子部
  • 2. 自己紹介 名前:片山暁雄 ( @c9katayama ) 所属:アマゾンデータサービスジャパン 職種:ソリューションアーキテクト 好きなプログラム言語:  Java,C#,ActionScript 好きなLinux  Amazon Linux Copyright © 2012 Amazon Web Services
  • 4. AWS(Amazon Web Services) のご紹介 Copyright © 2012 Amazon Web Services
  • 5. AWS User Group Japan (JAWS-UG) 現在20支部 札 ハッシュタグ 幌 #jawsug 金 佐 福 神戸 京都 沢 仙 台 賀 岡 東 クラウド女子会 熊 山 名 浜 静京 本 口 大 古 松 岡 鹿 宮 阪 屋 沖 児 崎 縄 島 Copyright © 2012 Amazon Web Services 5
  • 6. 世界中でサービスを展開中 リージョン エッジローケーション オレゴン GovCloud 東京 ダブリン バージニア カリフォルニア シンガポール サンパウロ 初期費用なしで全世界のインフラを利用可能 データは指定した地域に置かれる 6 Copyright © 2012 Amazon Web Services
  • 7. AWSの様々なサービス お客様のアプリケーション デプロイと自動化 ライブラリ & SDKs IDEプラグイン Web管理画面 モニタリング Development & 認証 AWS Elastic Java, PHP, .NET, Eclipse Management Amazon AWS IAM Beanstalk Administration Python, Ruby Visual Studio Console CloudWatch AWS CloudFromation メッセージ メール配信 ワークフロー管理 Amazon SNS Amazon SES Amazon SWF Amazon SQS Application Service コンテンツ配信 分散処理 キャッシング Amazon CloudFront Elastic MapReduce Amazon Elasticache ストレージ データベース コンピュータ処理 Amazon S3 Amazon RDS Amazon EC2 Amazon EBS Amazon DynamoDB Auto Scale Amazon SimpleDB AWS StorageGateway Infrastructure ネットワーク & ルーティング Service Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect AWS グローバルインフラ Region AZ Geographical Regions, Availability Zones, Points of Presence 7 Copyright © 2012 Amazon Web Services
  • 8. EC2 Amazon EC2(Elastic Compute Cloud) リージョン アベイラビリティ アベイラビリティ ゾーン A 任意のゾーンに ゾーン B EC2 分散配置可能 1 EC2 数分で起動可能な仮想サーバ 1時間ごとの従量課金で利用可能 14種類の仮想サーバを選択可能 Windows, Linuxなどx86-64アーキテクチャのOSが利用可能 OS以上は自由に触れる  GlusterFSでもJbossでもインストール可能 RHELも従量課金!! Copyright © 2012 Amazon Web Services
  • 9. EBS Amazon EBS(Elastic Block Store) /dev/xvdf EBS EC2 S3 /dev/xvdg EBS EC2にマウント可能なストレージ 1EBSあたり最大1TB 複数のEBSを1つのEC2インスタンスにアタッチ可能  EBSを別のEC2にマウントしなおす事も可能  ただし複数のEC2から1つのEBSをマウントすることは出来ない 任意のファイルシステムでフォーマット スナップショット機能  任意の時点の全データをS3へ保管 Copyright © 2012 Amazon Web Services
  • 10. AWSではじめるGlusterFS Copyright © 2012 Amazon Web Services
  • 11. GlusterFSをAWSで実行すると・・ サーバ、ディスクの調達が容易  時間課金で試すのが簡単 RHELも従量課金!! 異なるデータセンター間・遠隔地へのレプリカテストが 容易  世界中のデータセンターが使える GlusterFSを使用して、冗長的なアーキテクチャを実装 可能  最も困難なデータ冗長化を実現  クラウドアーキテクチャの自由度が大幅にUP Copyright © 2012 Amazon Web Services
  • 12. Step1 まずは2台でハンズオン t1.microのLinuxインスタンスを同一AZに2台起動 GlusterFSのインストール  yum localinstall -y http://adsj- demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-3.3.0- 1.el6.x86_64.rpm http://adsj- demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-server- 3.3.0-1.el6.x86_64.rpm http://adsj- demo.s3.amazonaws.com/gluster-fs3.3/glusterfs-fuse- 3.3.0-1.el6.x86_64.rpm  service glusterd start EC2 EBS レプリカ EC2 EBS Copyright © 2012 Amazon Web Services
  • 13. Step1 まずは2台でハンズオン レプリカ設定  gluster peer probe EC2インスタンス1IP  gluster peer probe EC2インスタンス2IP  gluster vol create vol01 replica 2 EC2インスタンス 1IP:/mnt/ebs/brick-vol01 EC2インスタンス 2IP:/mnt/ebs/brick-vol01  gluster vol start vol01 マウント  mkdir /mnt/gluster-vol01  mount -t glusterfs EC2インスタンス1IP:/vol01 /mnt/gluster-vol01 Copyright © 2012 Amazon Web Services
  • 14. 片山さん、めんどくさいよ・・・ Copyright © 2012 Amazon Web Services
  • 16. Step2 AZ間のデータ同期 インスタンス起動  t1.microのLinuxインスタンスを異 EC2 EBS なるAZに2台づつ起動 Zone-A EC2 EBS GlusterFSを4台にインストール レプリカ レプリカ設定 レプリカ EC2 EBS  レプリカを2に設定 Zone-B  AZで2対になるように設定 EC2 EBS ファイルシステムにマウント Copyright © 2012 Amazon Web Services
  • 17. 片山さん、更にめんどくさいよ・・・ Copyright © 2012 Amazon Web Services
  • 19. Step3 よりグローバルなシステム 複数のリージョン  例えば日本とシンガポールをまたいだシステム構築  バックアップやDRも Geo-Replication  遠隔地へ、非同期でデータを同期  マスター/スレーブモデル Replicated Volumes Geo-replication クラスター内でデータをミラーリング 地理的に離れたクラスタでデータ をミラーリング 高可用性を提供 バックアップやDR用途 同期処理 非同期処理 Copyright © 2012 Amazon Web Services
  • 20. 全世界17カ所でGluster可能 リージョン ア ベイラビ リ ゾーン ティ オレゴン 東京 ダブリン バージニア カリフォルニア シンガポール サンパウロ 20 Copyright © 2012 Amazon Web Services
  • 21. Copyright © 2012 Amazon Web Services
  • 22. AWS 無料使用枠(12ヵ月) Amazon EC2 750時間/月のLinux マイクロインスタンス  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EC2 750時間/月のWindows Server マイクロインスタンス  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EBS  30 GB に加え、200万 I/O、スナップショット ストレージ 1 GB Elastic Load Balancing  750時間に加え 15 GB 分のデータ処理 帯域幅「送信(アウト)」15 GB Amazon S3 ストレージ  5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch 十分GlusterFS試せます! Copyright © 2012 Amazon Web Services
  • 23. Tips ネットワークおよびEBSのIOパフォーマンスが欲しい場合  大きいインスタンス、大きいEBSボリュームを使用して下さい  EBSの場合、ストライピングも可能 使用前のウォームアップ  EBS全領域へ一度書き込む事をお勧めします エフェメラルディスクでもGlusterFS  料金無料の内蔵ディスクもGlusterなら便利に利用可能  ログの保存などに  2TのSSDを内蔵したEC2インスタンスもリリース Copyright © 2012 Amazon Web Services
  • 24. まとめ Copyright © 2012 Amazon Web Services
  • 26. 来場登録ウェブサイトも 7月27日(金) に公開 ・ 受付開始決定! Copyright © 2012 Amazon Web Services
  • 27. 27