DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ

1. DRBD/Heartbeat/Pacemaker で作る KVM 仮想化クラスタ株式会社サードウェア久保元治 2 台のサーバのみでライブマイグレーションを実現

2. 目次目的

3. 設計

4. iSCSIストレージ・クラスタ

5. ネットワーク

6. パフォーマンス

7. 目的仮想化の可能性と問題の検証 Nagios、JP1 (Windows)など監視系から載せてみたい

8. ライブマイグレーションは実現したい冗長構成物理サーバの故障やメンテナンスに備える予算の制約物理サーバ2台でどこまで実現できるか

9. 設計 CentOS 5.5、KVMを採用

10. iSCSIターゲットをHAクラスタで構成 2台のサーバのどちらかでiSCSIターゲットが動作

11. 2台のiSCSIイニシエータは仮想IPアドレスにアクセスネットワークの工夫ボンディングとジャンボフレームゲストOSの追加・削除に対応させる DRBDの上でLVMを動作させる

12. 設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ )

13. 設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) QEMU ゲスト OS １ QEMU ゲスト OS １ライブマイグレーション

14. 設計リアルタイム・レプリケーションサーバ 1 KVM QEMU QEMU ゲスト OS １ゲスト OS 2 iSCSI イニシエータサーバ 1 KVM QEMU QEMU ゲスト OS １ゲスト OS 2 iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲットサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) DRBD LVM2 iSCSI ターゲット DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 フェールオーバ

15. 設計リアルタイム・レプリケーションサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータサーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ゲスト OS 2 LVM2 iSCSI ターゲットサーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 1 2 3 4 iSCSI イニシエータ DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ゲスト OS 2 QEMU QEMU ゲスト OS １ゲスト OS 2 ダウン！物理サーバがダウン

16. 設計ボンディング iSCSI アクセス用ボンディング DRBD データ用 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 LAN 監視用

17. iSCSIストレージクラスタ iSCSIターゲット DRBD/Heartbeat/Pacemaker/ietd

18. DRBD上にLVMを構成

19. 注意点 iSCSIイニシエータ、libvirtdはiSCSIターゲット起動後に起動するよう、クラスタリソースとして制御する

20. iSCSIストレージクラスタ primitive main_t01_target ocf:heartbeat:iSCSITarget \ params implementation="iet" iqn="iqn.2006-05.jp.onisi:kvmsv:t01" tid="1" portals="10.0.1.65:3260" \ op start interval="0" timeout="30" \ op stop interval="0" timeout="30" \ op monitor interval="50" timeout="30" primitive main_t01lv01 ocf:heartbeat:iSCSILogicalUnit \ params implementation="iet" lun="1" target_iqn="iqn.2006-05.jp.onisi:kvmsv:t01" path="/dev/vg/t01lv01" \ op start interval="0" timeout="30" \ op stop interval="0" timeout="30" \ op monitor interval="50" timeout="30" primitive post_ip1 ocf:heartbeat:IPaddr2 \ params ip="10.0.xxx.yyy" cidr_netmask="24" \ op monitor interval="50" timeout="30" primitive post_ip2 ocf:heartbeat:IPaddr2 \ params ip="192.168.aaa.bbb" cidr_netmask="24" \ op monitor interval="50" timeout="30" primitive post_portunblock _iscsi ocf:heartbeat:portblock \ params protocol="tcp" action="unblock" portno="3260" \ op start interval="0" timeout="30" \ op stop interval="0" timeout="30" \ op monitor interval="50" timeout="30" primitive pre_lvm ocf:heartbeat:LVM \ params volgrpname="vg" \ op monitor interval="50" timeout="30" \ op start interval="0" timeout="30" \ op stop interval="0" timeout="30" primitive pre_portblock_iscsi ocf:heartbeat:portblock \ params protocol="tcp" action="block" portno="3260" \ op start interval="0" timeout="30" \ op stop interval="0" timeout="30" \ op monitor interval="50" timeout="30"

21. iSCSIストレージクラスタ primitive res_drbd_r0 ocf:linbit:drbd \ params drbd_resource="r0" \ op monitor interval="10" \ op start interval="0" timeout="240" \ op stop interval="0" timeout="100" primitive res_iscsi lsb:iscsi primitive res_libvirtd lsb:libvirtd \ op start interval="0" timeout="120" \ op stop interval="0" timeout="300" group all pre_portblock_iscsi pre_lvm main_t01_target main_t01lv01 post_ip1 post_ip2 post_portunblock_iscsi ms ms_drbd_r0 res_drbd_r0 \ meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" clone c_iscsi res_iscsi \ meta clone-node-max="1" clone-max="2" globally-unique="false" clone c_libvirtd res_libvirtd \ meta clone-node-max="1" clone-max="2" globally-unique="false" location l_all all 100: kvmsv001.onisi.jp colocation col_all inf: all ms_drbd_r0:Master order o_all 0: ms_drbd_r0:promote all:start order o_all_iscsi inf: all c_iscsi order o_iscsi_libvirtd inf: c_iscsi c_libvirtd property default-resource-stickiness="200" \ no-quorum-policy="ignore" \ stonith-enabled="false" \

22. ネットワーク 230MB/sec >> 1G bps ネットワークがボトルネックに

23. ボンディング(mode=0)だけでは不十分

24. ジャンボフレーム(mtu 9000)を追加

25. ネットワーク参考: KVMネットワーク構成ガイド for RHEL 5.4 ( 日本 IBM Linux/OSS サポート・センター ) eth0 eth1 eth2 eth3 eth4 eth5 bond0 bond1 VLAN サービス提供サーバ管理 Heartbeat DRBD レプリケーション Heartbeat iSCSI アクセスゲスト間通信

26. パフォーマンスネットワーク性能はnetperfで測定

27. DRBDの性能測定 dd if=/dev/zero of=.... bs=100M count=50 oflag=dsync bonnie++なども有用だが実施できず

28. パフォーマンスサーバ本体 HP Proliant DL 360 G7 メモリ 18GB RAID コントローラ P410i (BBWC 512MB) ハードディスク SAS 300GB 10,000rpm×6 (RAID5) ネットワーク 1000BaseT

29. パフォーマンス eth0 bonding (eth0+eth1) bonding (eth0+eth1+eth2) bonding (eth0+eth1+eth2+eth3) 1500 940 Mbps 1500 1213 Mbps 1500 1498 Mbps 1500 2092 Mbps bonding (eth0+eth1) 9000 1964 Mbps ネットワーク構成 MTU 性能

30. パフォーマンス DRBD 構成前の HDD への直接書き込み 141 MB/sec DRBD 領域に直接書き込み 230 MB/sec ローカル iSCSI ターゲットに書き込みリモート iSCSI ターゲットに書き込み 1 ゲスト、仮想ディスクに書き込み 2 ゲスト、仮想ディスクに同時書き込み 310 MB/sec 122 MB/sec 172 MB/sec 126 MB/sec

31. 最後に多少のスケーラビリティ KVMホスト追加可能仮想環境入門に最適

32. ゲストOS管理は課題コマンドベースでの追加・削除が必要

33. virt-managerはまだVLANをサポートしていない

DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ

Recommended

More Related Content

What's hot (20)

Similar to DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ (20)

More from 株式会社サードウェア (7)

Recently uploaded (9)

DRBD/Heartbeat/Pacemakerで作るKVM仮想化クラスタ