[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka
•
2 likes•1,762 views
[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka
- 1. エンタ プライズ エンタープライズ NoSQL/Hbase プラットフォーム MapR M R M7 エディシ ン エディション MapR Technologies 株式会社 ソリューション・アーキテクト 岡 昌孝 ©MapR Technologies ‐ Confidential 1
- 2. MapR M7エディションは 企業利⽤を前提とした、Apache HBase 完全互換のNoSQL プラットフォームです プラットフォ ムです。 信頼性 ©MapR Technologies ‐ Confidential ⾼速性 2 運⽤性
- 3. たとえば… ⾼速性 他の Hadoop YCSB Benchmark MapR 3.0.1 YCSB Benchmark 3.0.1 ディストリビューション M7 Advantage デ トリビ シ d (M7エディション) (ops/sec/node) (HBase) 50% read, 50% update 50% read 50% update 7965 2918 2.7x 2 7x 95% read, 5% update 3850 1541 2.5x Random Read 5934 865 6.9x Range Scan (50 rows) Range Scan (50 ) 838 274 3.1x 3 1x Hardware Configuration ©MapR Technologies ‐ Confidential CPU : Intel® Xeon® CPU E5645 2.40GHz 12 cores x2 RAM : 48 GB Data Disk : 12x 3TB (7200 rpm) Size – record size = 1k, data size = 2TB OS : CentOS Release 6.2 (Final) 3 10‐Node Cluster
- 4. アジェンダ Apache Hb A h Hbase のア キテクチ と課題 のアーキテクチャと課題 MapR とは？／MapRの優位点 MapR M7 エディション まとめ ©MapR Technologies ‐ Confidential 4
- 5. Apache HBase のアーキテクチャ Name Node HBaseMaster ZooKeeper ZooKeeper ZooKeeper JVM JVM JVM JVM JVM マスタノード RegionServer RegionServer RegionServer RegionServer JVM JVM JVM JVM ・・・・・・・・・・・ Data Node Data Node Data Node Data Node Data Node Data Node Data Node JVM JVM JVM JVM スレーブノード スレ ブノ ド ©MapR Technologies ‐ Confidential 5
- 6. Apache HBase のアーキテクチャ RegionServer RegionServer RegionServer RegionServer JVM JVM JVM JVM ・・・・・・・・・・・ Data Node Data Node Data Node Data Node JVM JVM JVM JVM キ レンジ キーレンジ１ リージョン１ キ キーレンジ２ ンジ リージョン２ キ キーレンジ３ ンジ リージョン３ HDFS ©MapR Technologies ‐ Confidential 6 ・・・・・・・・・・・ キ キーレンジｎ ジ リージョンｎ
- 7. Apache HBase ユーザーが抱える課題 ネームノードに単⼀障害点がある 信頼性 パフォーマンスが安定（⼀定）しない ハードウェア障害のデータ損失は防ぐことがで きても操作ミスの復旧の⼿⽴てがない ⾼速性 コンパクションに時間がかかる 複数ユーザーでクラスタを共⽤するときに個別 複数ユ ザ でクラスタを共⽤するときに個別 の権限や運⽤ポリシーの設定が難しい ノ ドを増やしても実際にはリニアにスケ ル ノードを増やしても実際にはリニアにスケール しない 運⽤には経験値の⾼い⼈員が常に不可⽋ ©MapR Technologies ‐ Confidential 7 運⽤性
- 8. Apache Hadoop に起因する課題 ネームノードに単⼀障害点がある 信頼性 パフォーマンスが安定（⼀定）しない ハードウェア障害のデータ損失は防ぐことがで きても操作ミスの復旧の⼿⽴てがない ⾼速性 コンパクションに時間がかかる 複数ユーザーでクラスタを共⽤するときに個別 複数ユ ザ でクラスタを共⽤するときに個別 の権限や運⽤ポリシーの設定が難しい ノ ドを増やしても実際にはリニアにスケ ル ノードを増やしても実際にはリニアにスケール しない 運⽤には経験値の⾼い⼈員が常に不可⽋ ©MapR Technologies ‐ Confidential 8 運⽤性
- 9. Apache HB A h HBase のア キテクチ と課題 のアーキテクチャと課題 MapR とは？／MapR の優位点 MapR M7 エディション まとめ ©MapR Technologies ‐ Confidential 9
- 10. MapR = Apache Hadoop + Innovation Apache HBase Table JVM HDFS File File File JVM Linux ファイルシステム Ext3/Ext4 ディスクデバイス Apache HBase Table JVM File File MapR‐FS File ディスクデバイス Table File File MapR‐FS File ディスクデバイス その他のHadoop ディストリビューション MapR-FS: ランダムアクセスとNFSマウントが可能なファイルシステム ©MapR Technologies ‐ Confidential 10
- 11. アーキテクチャ設計と再実装による性能向上 Apahce Hadoop Java API MapR 100%互換 Java API MapReduce HDFS MB/s 様々な追加機能 MapReduce 再設計 C/C++実装 MapR-FS DFSIO性能 • J bT k HA JobTracker • Direct Shuffle • • • • • • ランダムアクセス 分散NameNode NFSアクセス ボリューム ミラーリング スナップショット ハードウェアの限界性能を引き出すため のアーキテクチャ設計・再実装 MapR • • • • 10ノード, 2xクアッドコア, 24GBメモリ, 11x7200rpm SATA ©MapR Technologies ‐ Confidential 11 ビルトイン圧縮によるI/O削減 分散NameNode RPC経由のShuffle転送 Java GCの影響の排除
- 12. MapRの⾼い信頼性 単⼀障害点の完全な排除 分散NameNode Apache Hadoop JobTracker HA アクティブなJobTracker MapR Name Node Data Node Hadoop Node NN Data Node Data Node Hadoop Node NN Data Node Hadoop Node NN Hadoop Node NN Data Node Data Node Hadoop Node NN Hadoop Node NN ノード2 ノード3 ノード4 ノード5 Hadoop Node NN Data Node ノード1 Hadoop Node NN JobTracker サービス TaskTracker サービス FileServer サ ビス サービス NFS サービス NameNode機能の分散配置による 耐障害性、スケーラビリティの向上 耐障害性 ビ 向上 ©MapR Technologies ‐ Confidential JobTracker稼働ノードの障害でも 中断されるJob/Taskはない 中断 12
- 13. システム管理機能の充実によるコスト削減 NFS経由の効率的なデータ⼊出⼒ Web サーバ 処理結果 MapR FS NFSマウント マウントポイント: xx 容量上限: xx レプリケーション数: x 管理権限: xx アプリケーショ プ ン MapReduce ログ出⼒ ボリューム活⽤によるマルチテナント運⽤ ボリュ ムC ミラ 設定 ボリュームC ミラー設定 NFSマウント xxx 「ボリューム」単位でファイルシステムを論理分割し、異 なるポリシーを設定して運⽤管理を分離 スナップショットによるデータ喪失への備え 差分更新 xxx ボリュームB ログの出⼒を直接Hadoopファイルシステムにして中 間ファイルサーバやデータ移動の⼿順を削減 ⽉曜⽇の スナップショッ ト ボリュームA クラスタ稼働状況の瞬時の把握と集中管理 ボリューム ⽕曜⽇の スナップショッ ト 差分更新 使いやすい Web管理画⾯と “Heat Map” 表⽰、アラーム ⽔曜⽇の スナップショッ ト 差分更新 最新版 スナップショットはHadoop ファイルシステム内に作られ、差分のみを格納 ©MapR Technologies ‐ Confidential 13
- 14. MapR のミラーリング（バックアップ） 容易なバックアップ、災害対応 容易なバックアップ 災害対応 開発環境 本番環境 効率的なバックアップ データセンター1 WAN データセンター2 差分のみの更新 圧縮、およびチェックサムの上転送 管理、運⽤の容易性 管理 運⽤の容易性 ©MapR Technologies ‐ Confidential WAN クラウド環 境 14 LAN/WAN経由、 本番環境 設定により定期的、またはオンデマ ンドでバックアップ可能 バックアップ時点でのデータの⼀貫 性
- 15. ボリューム クラスタを構成するノードを論理的に束ねることで、ボリュームを構成 することができます。 •各ボリュームはROOTボリュームを頂点とするファイルシステムの単⼀ネームス 各ボリュ ムはROOTボリュ ムを頂点とするファイルシステムの単 ネ ムス ペースにマウントされます。 ラック#1 ラック#2 ラック#3 ラック#4 / (ROOT) / (ROOT) HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD user/ HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD vol_1/ fast/ /user/vol_1/ /user/vol 1/ /fast/ •ボリューム機能の利点 •ボリューム毎にレプリケーション数、ユーザーアクセスコントロール、クォータ、スナップショット、ミ ラーリングの設定ができる。→マルチテナンシー •特定のデータを間接的に特定のノードに配置できる。→アクセススピードが求められるデータをSSDノー ドに格納する。 •使⽤状況に応じてボリューム毎にノードの拡張、縮退がオンラインのまま可能。 ©MapR Technologies ‐ Confidential 15
- 16. ファイル/チャンク/コンテナ •MapRクラスタに格納するファイルは256MB(デフォルト)の“チャンク”に分解されます。 •各チャンクは16GB(デフォルト)の“データコンテナ”に格納されます（各コンテナは複数のファ 各チャンクは16GB(デフォルト)の データコンテナ に格納されます（各コンテナは複数のファ イルのチャンクを格納します）。 •各コンテナはボリューム内で複数のノードにレプリケートされます。 ファイル： チャンク チャンク チャンク 256MB 256MB 256MB ・・・・・・・・・・・・・・・・・・・・・・・・・・・・ コンテナ： ・・・・・・・・・・・・・・・・・・・・・ ノード ノード ノード ボリューム： ©MapR Technologies ‐ Confidential 16 ノード
- 17. CLDB (Container Location Database) CLDBはコンテナの位置情報を提供します。 •CLDBプロセスは複数のノードに常駐し、冗⻑構成します。これらのノードの⼀つにCLDBコン テナが作成され、他のCLDBプロセスノードにレプリケートされます。 •CLDBコンテナにはクラスタ内のすべてのコンテナのノード情報が記録されます。CLDBプロセ スはCLDBコンテナの内容をメモリにロードします。 •各ボリュームにはネームコンテナが配置されます。ネームコンテナはボリューム内のファイルの 位置情報が記録されます。 位置情報が記録されます CLDBコンテナ ネームコンテナ ボリューム名→ネームコンテナID •ノード#1 コンテナID → •ノード#2 •ノード#3 ファイルパス ァ ↓ マウント先ボリューム名/ データコンテナID 例：/user/vol_1/test.data のデータコンテナ解決 “/(ROOT)”ボリューム→ CLDB →“user/”ボリューム→ “ /”ボリ ム “vol_1/”ボリューム→ CLDB CLDB CLDB →ネームコンテナID/ノード/”/user/vol_1/test.data”→ →ネームコンテナID/ノード/”vol_1/test.data”→ ネ ム ンテナID/ノ ド/” l 1/t t d t ” →ネームコンテナID/ノード/”test.data”→ ROOT:ネームコンテナ user:ネームコンテナ ネ ナ Vol_1:ネームコンテナ →データコンテナID→ →ノード/データコンテナID/”test.data”→ データコンテナ •クライアントはCLDB/ネームコンテナの検索結果を常にキャッシュします。 ©MapR Technologies ‐ Confidential 17 →
- 18. ネームノード vs. CLDB CLDB CLDB CLDB MapR Apache Hadoop CLDB コンテナ NameNode ネームコンテナ ネ ムコンテナ DataNode DataNode ネームコンテナ ネ ムコンテナ DataNode データコンテナ データコンテナ データコンテナ ボリューム ©MapR Technologies ‐ Confidential ネームコンテナ ネ ムコンテナ 18 データコンテナ データコンテナ ボリューム データコンテナ ボリューム
- 19. ネームノード・ボトルネックの解消 他 ディ リ 他のディストリ ビューション Advantage Rate (creates/s) 14‐16K 335‐360 40x Scale (files) 6B 1.3M 4615x ファイ イル生成/秒 MapR 18000 MapR 16000 400 350 300 250 200 150 100 50 0 他のディストリビュ ション 他のディストリビューション 0 0.5 1 1.5 百万ファイル フ ファイル生成 成/秒 14000 12000 10000 8000 6000 4000 2000 Benchmark: File creates (100B) Hardware: 10 nodes, 2 x 4 cores, 24 GB RAM, 12 x 1 TB 7200 RPM 他のディストリビューション 0 00 100 200 400 600 800 1000 1000 2000 3000 4000 5000 6000 ©MapR Technologies ‐ Confidential 百万ファイル 19
- 20. Apache HB A h HBase のア キテクチ と課題 のアーキテクチャと課題 MapR とは？／MapR の優位点 MapR M7 エディション まとめ Table File MapR‐FS File MapR FS File ディスクデバイス ©MapR Technologies ‐ Confidential 20
- 21. HBaseテーブルとファイルシステムの融合 $ mount maprnode:/mapr /mapr $ cd /mapr/default/user/dave $ pwd /mapr/default/user/dave NFS マウント $ ls file1 file2 table1 table2 file1 file2 table1 table2 $ hbase shell hbase(main):003:0> create '/user/dave/table3', 'cf1', 'cf2', 'cf3' 0 row(s) in 0.1570 seconds $ ls file1 file2 table1 table2 table3 file1 file2 table1 table2 table3 $ hadoop fs ‐ls /user/dave Found 5 items ‐rw‐r‐‐r‐‐ 3 mapr mapr ‐rw‐r‐‐r‐‐ 3 mapr mapr trwxr‐xr‐x 3 mapr mapr trwxr xr x 3 mapr mapr trwxr‐xr‐x 3 mapr trwxr‐xr‐x 3 mapr mapr ©MapR Technologies ‐ Confidential Hadoop API 16 2012‐09‐28 08:34 /user/dave/file1 22 2012‐09‐28 08:34 /user/dave/file2 2 2012‐09‐28 08:32 /user/dave/table1 2 2012 09 28 08:33 /user/dave/table2 2 2012‐09‐28 08:33 /user/dave/table2 2 2012‐09‐28 08:38 /user/dave/table3 21
- 22. MapR プラットフォームの拡張 Hive M MapR% Control% System% S) (MC Pig Cascading Oozie Mahout Flume MapR% Distribu‐ on% for Apache% Hadoop HCatalog Sqoop Whirr Apache% HBase MapReduce HBase& API MapR% Data% Pla*orm% (MDP) NFS% interface HDFS% API HMaster、RegionServer は存在しない。 、 g は存在しな 。 ©MapR Technologies ‐ Confidential 22
- 24. Apache HBase HFile の構造 それぞれのセルはキー・バリューペア（レコードではない） - カラムの数だけキーを繰り返す 昇順にソート 昇順にソ ト されたキー・ バリューペア 64Kバイトのブ ロック単位で圧縮 圧縮ブロックへのインデッ クスが付加される ©MapR Technologies ‐ Confidential 24
- 26. HBase で増⼤するリードオペレーション get/scanオペレ ションでレコ ドを取得するには全て get/scanオペレーションでレコードを取得するには全て のHFileを読み込む必要がある – スキーマレスなのでどこに必要なカラムがあるのかわからない 新 旧 ©MapR Technologies ‐ Confidential 26
- 27. HFile のコンパクション データ読み込み時間を短縮するためにHBaseは定期的に 複数のHFileをひとつのHFileに統合します デフォルトではHFileが⼀定数に達した時点で⾃動的に実⾏され る – コンパクション中はディスクI/Oストームが発⽣し、パフォー マンスが著しく低下する – 週末に⼿動実⾏？ – コンパクションはすべてのHFileを読込んでひ とつのファイルに書き出します。 ©MapR Technologies ‐ Confidential 27
- 28. なぜコンパクションが必要なのか？ HDFS Map/Reduce バッチ処理を想定したファイルシステム – ⼤きなファイルに順次アクセスする –ク クローズ済みのファイルに書き込むことはできない ズ済み フ イルに書き込む とは きな – MapR-FS ランダムアクセスが可能 – ファイルサイズを問わない – クローズ済みのファイルに編集・追記が可能 – ©MapR Technologies ‐ Confidential 28
- 29. Apache HB A h HBase のア キテクチ と課題 のアーキテクチャと課題 MapR とは？／MapR の優位点 MapR M7 エディション まとめ ©MapR Technologies ‐ Confidential 29
- 32. Apache HBase との⽐較 MapR M7 Apache HBase Apache HBase ファイル/テーブル・ネームス ペースの統合 〇 Ｘ クォータ制御 ク タ制御 〇 Ｘ データ配置制御 〇 Ｘ ネットワ クトラフィックの圧縮 ネットワークトラフィックの圧縮 〇 Ｘ 特定ストレージの割当 〇 Ｘ SSDノードへの明示的な割当 スナップショット スナ プシ ト 〇 Ｘ ミラーリング 〇 Ｘ コンパクションの排除 〇 Ｘ オンラインアップグレード 〇 Ｘ ©MapR Technologies ‐ Confidential 32
- 33. Apache HBase の制限事項の排除 MapR M7 Apache HBase Apache HBase テーブル数 数十億 100 ノード数 10,000 数百 64 3 カラムファミリ数 ©MapR Technologies ‐ Confidential 33
- 34. M7 vs. CDH: 50-50 load (read latency) CDH MapR p ©MapR Technologies ‐ Confidential 35
- 35. M7 vs. CDH: 50-50 Mix (Reads) MapR：スループット CDH：レイテンシ CDH：スループット MapR：レイテンシ イテ シ ©MapR Technologies ‐ Confidential 36
- 39. Apache Drill Drill 概要 – – – オープンソース – – – – – ⾼速かつインタラクティブなクエリーの実⾏ ⾼速かつインタラクティブなクエリ の実⾏ 標準ANSI SQLのサポート Google Dremelをベースの開発 ⽶国、ヨーロッパから数百⼈が開発に参加 コミュニティーの中で開発する機能、APIについて確認済み ⼀部のコンポーネントは既に開発済み Simba Technologies – ODBC 開発元がDrill⽤のODBCドライバーを開発 OpenDremel チームがコードをApache Drillに統合 スケジュール(予定) スケジュ ル(予定) – – 2013年9⽉ 2013年12⽉ ©MapR Technologies ‐ Confidential α版リリース β 40
- 40. MapR: Apache Hadoop ディストリビューション Ecoシステムも含めたHadoop完全パッケージ EcoシステムについてもMapR内で検証の上、製品パッケ ジとして提供 EcoシステムについてもMapR内で検証の上、製品パッケージとして提供 EcoシステムのパッチもMapRから提供 100%標準Hadoopインターフェイス エンタープライズ向け⾼信頼性 柔軟なファイルシステム ⾼パフォーマンス ⾼パフォ マンス ©MapR Technologies ‐ Confidential 41