自宅スケーラブル・ファイルシステムのご紹介
- 7. まずはピアツーピアから
検証してわかったこと：
結局カードにはIPを振るし、振ってしまえば通常の
NICと変わらない
対応OSはCentOS系なら問題なし、仮想化ハイパー
バイザーの対応も進んでいる
Infinibandネットワーク内にはSubnet Managerが最低1つ
起動していなければならない。
SubnetManagerはInfinibandスイッチに内蔵した製品もある。
[root@ml115 ~]# ifconfig -a
Ifconfig uses the ioctl access method to get the full address information, which limits hardware addresses to 8 bytes.
Because Infiniband address has 20 bytes, only the first 8 bytes are displayed correctly.
Ifconfig is obsolete! For replacement check ip.
ib0 Link encap:InfiniBand HWaddr 80:00:XX:XX:XX:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.50.60 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: XXXX::XXXX:XXXX:21:f669/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:3899403 errors:0 dropped:0 overruns:0 frame:0
TX packets:2403903 errors:0 dropped:1 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:5281126042 (4.9 GiB) TX bytes:818652155 (780.7 MiB)
7
- 9. ピアツーピア検証ではまったポイント 3点
２、ファームウェアの更新
mst statusコマンドでデバイスを調べる→そんなものはない！
[root@ml115 ~]# mst status
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module is not loaded
MST devices:
------------
No MST devices found
・・・mst startでサービスを開始すると問題なくデバイス発見。
[root@ml115 ~]# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
[root@ml115 ~]# mst status
MST modules:
------------
MST PCI module loaded
MST PCI configuration module loaded
MST devices:
------------
/dev/mst/mt25218_pci_cr0 - PCI direct access.
bus:dev.fn=12:00.0 bar=0xfdf00000 size=0x100000
Chip revision is: A0
/dev/mst/mt25218_pciconf0 - PCI configuration cycles access.
bus:dev.fn=12:00.0 addr.reg=88 data.reg=92
Chip revision is: A0
9
- 14. 2つの動作モード
Distributed Striped
Server1 Server1
Server2 Server2 Server3
Server3
ファイル転送速度：各ノード単体の能力に ファイル転送速度：各ノード単体の能力と
左右＝他のサーバーのIOと足並みをそろえ ストライプに参加する台数に左右＝IOの遅
る必要がない いサーバーに足を引っ張られる
14
- 15. 冗長設定：2多重の例
Distributed
Server1 Server1
Server2 Server3 Server2 Server3
15
- 17. 各ノードの構成
IB IP:
192.168.50.1
server1
IB IP: IB IP:
192.168.50.60 192.168.50.10
brick1 brick3
IB IP:
192.168.50.70 IB IP:
192.168.50.20
brick2
brick4
17
- 18. VOLUMEの作成
Brick1~4： OS:Scientific Linux 6.1 x86_64
gluster:glusterfs 3.3beta2
infiniband:ofed1.5.3
HCA:Mellanox MHEA-XTC 10Gb
Server: OS:CentOS6.0 x86_64
HCA:Mellanox MHEA-XTC 10Gb
distributed&duplicateの場合のコマンド
gluster volume create glustervol replica 2 transport tcp,rdma 192.168.50.60:/data/brick
192.168.50.70:/data/brick 192.168.50.10:/home/brick 192.168.50.20:/home/brick
Striped&duplicateの場合のコマンド
gluster volume create glustervol stripe 2 replica 2 transport tcp,rdma
192.168.50.60:/data/brick 192.168.50.70:/data/brick 192.168.50.10:/home/brick
192.168.50.20:/home/brick
18
- 29. ネットワーク、機器構成
CPU:Core i5-670
Mem:8GB DDR3 PC1333 CPU:Pentium G620
HDD: HITACHI 2TB 7200rpm SATA Mem:4GB DDR3 PC1333
x4 HDD: Intel SSD 80GB
M/B Intel DQ57TM M/B Intel DQ67EP
server1 server2
Router: Cisco ASA5505
To internet
brick1 brick2 brick3 brick4
29
CPU:AMD Athlon 3core CPU:Celeron G1101 CPU:Celeron G1101 CPU:Intel Core-i5 2400S
Mem:6GB DDR3 PC1333 Mem:4GB DDR3 PC1333 Mem:4GB DDR3 PC1333 Mem:8GB DDR3 PC1333
HDD: SEAGATE 2TB HDD: SEAGATE 1TB SATA HDD: HITACHI 1TB SATA HDD: HITACHI 1TB SATA
SATA HDD HDD HDD HDD x2
M/B HP ML115 M/B NEC Express5800 M/B HP ML110G6 M/B WADE-8012
![まずはピアツーピアから
検証してわかったこと：
結局カードにはIPを振るし、振ってしまえば通常の
NICと変わらない
対応OSはCentOS系なら問題なし、仮想化ハイパー
バイザーの対応も進んでいる
Infinibandネットワーク内にはSubnet Managerが最低1つ
起動していなければならない。
SubnetManagerはInfinibandスイッチに内蔵した製品もある。
[root@ml115 ~]# ifconfig -a
Ifconfig uses the ioctl access method to get the full address information, which limits hardware addresses to 8 bytes.
Because Infiniband address has 20 bytes, only the first 8 bytes are displayed correctly.
Ifconfig is obsolete! For replacement check ip.
ib0 Link encap:InfiniBand HWaddr 80:00:XX:XX:XX:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.50.60 Bcast:192.168.50.255 Mask:255.255.255.0
inet6 addr: XXXX::XXXX:XXXX:21:f669/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:3899403 errors:0 dropped:0 overruns:0 frame:0
TX packets:2403903 errors:0 dropped:1 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:5281126042 (4.9 GiB) TX bytes:818652155 (780.7 MiB)
7](https://image.slidesharecdn.com/san-120316215807-phpapp01/85/-7-320.jpg)
![ピアツーピア検証ではまったポイント 3点
２、ファームウェアの更新
mst statusコマンドでデバイスを調べる→そんなものはない！
[root@ml115 ~]# mst status
MST modules:
------------
MST PCI module is not loaded
MST PCI configuration module is not loaded
MST devices:
------------
No MST devices found
・・・mst startでサービスを開始すると問題なくデバイス発見。
[root@ml115 ~]# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
[root@ml115 ~]# mst status
MST modules:
------------
MST PCI module loaded
MST PCI configuration module loaded
MST devices:
------------
/dev/mst/mt25218_pci_cr0 - PCI direct access.
bus:dev.fn=12:00.0 bar=0xfdf00000 size=0x100000
Chip revision is: A0
/dev/mst/mt25218_pciconf0 - PCI configuration cycles access.
bus:dev.fn=12:00.0 addr.reg=88 data.reg=92
Chip revision is: A0
9](https://image.slidesharecdn.com/san-120316215807-phpapp01/85/-9-320.jpg)
