�O�҂ɑ����A10GbE��Infiniband�Ƃ����������l�b�g���[�N�Z�p�̃p�t�H�[�}���X��T��ƂƂ��ɁA������Web�T�[�r�X�\�z�ɂǂ̂悤�ɓK�p�ł���̂����l�@���Ă����܂��B
�@2012�N8���Ɂu���ܒm���Ă����ׂ�Web�T�[�r�X�̂��߂̍����l�b�g���[�N�Z�p�i�O�ҁj�v�����J���Ă���A6�J�����o���܂����B���̏�����肵�āA�ǎ҂̊F���܂ɒx�M�����l�ѐ\���グ�܂��B
�@���̊ԁA��r�I����������10�M�K�r�b�g�C�[�T�l�b�g�iGbE�jNetwork Interface Card�iNIC�j��X�C�b�`���A����Ɏ�̓͂����i�т܂ŋ߂Â��Ă������Ƃ܂��āA��҂������肵�܂��B
�y�֘A�L���z
���ܒm���Ă����ׂ�Web�T�[�r�X�̂��߂̍����l�b�g���[�N�Z�p�i�O�ҁj
http://www.atmarkit.co.jp/ait/articles/1208/01/news146.html
�@���܂܂Ŏg���Ă���1000BASE-TX�ł́A�l�b�g���[�N�ڑ����{�g���l�b�N�ƂȂ��Ă���A�f�B�X�N������̑ш�⑬�x���C�ɂȂ邱�Ƃ͂Ȃ������ł��傤�B������10/40GbE�AInfiniband FDR 56Gbit/s�Ȃǂ̍����l�b�g���[�N�Z�p�����邱�Ƃɂ���āA�����̃o�����X����C�ɕ���Ă����܂��B
�@���̓_����������Ɨ������邽�߂ɁA�����ł͍����l�b�g���[�N�Z�p�ɂ��Ď��p�I�Ȍv�����@�܂��ĉ�����܂��B
�@���̎������ł́A�T�[�o�̃�������ɍ\������RAMDISK�ɑ��āA�����l�b�g���[�N�o�R�Ńt�@�C���̓ǂݏ������s���Ă��܂��i�}1�j�B
�@��̓I�ɂ́A1/10/40GbE��Infiniband FDR 56Gbit/s��2��ނ̃l�b�g���[�N��p���āA
��2�Ŏ������s���܂����BTCP/IP���ł�thttpd��wget���ARDMA���ł�librdmacm�ɕt�������rcopy���v���Ɏg���Ă��܂��B
�@���ʂƂ��ẮA1/10/40/56Gbit/s�ƁA�l�b�g���[�N�ш悪��������ɂ�Ď����]���e�ʂ������Ă��܂��i�}2�j�B�O�҂ł̐��\�]���͂����܂Ńp�P�b�g�����\�ׂ͂邽�߂ɍs���܂������A���ۂɃA�v���P�[�V�����z���ő���M���s���ƁA�f�[�^�]���͒ቺ���܂��B
�@�����ł́A1333MHz DDR3 DIMM�iDRAM�j���g����RAMDISK��Ńf�[�^��ǂݏ������邱�ƂŁA�f�B�X�N�ɂ��{�g���l�b�N���r�����Ă��܂��B����ɂ�荂���l�b�g���[�N�ڑ��̏����Ȑ��\��������܂��B
�@�������ʂ̒��ł������[���̂��AInfiniband����RDMA�f�[�^�]�����\�ł��B10/40GbE�ɔ�ׂĂ����Ⴂ�ɐ��\�������A�܂�����FDR 56Gbit/s IP over Infiniband�ڑ��ɔ�ׂĂ����\���オ���ĂƂ�܂��BRDMA�f�[�^�]���ł͗]�v��TCP/IP�����Ȃǂ��Ȃ���邽�߁A�������I�Ƀf�[�^�]�����\�ɂȂ邱�Ƃ�������܂��B
�@�f�[�^�]���v���̎菇���ȉ��ɂ܂Ƃ߂Ă��܂��̂ŁA������������͂��Ђ��������������B
�T�[�o�ƃN���C�A���g�ɂ����鎖�O�ݒ� SERVER# mount tmpfs /ram -t tmpfs ; cd /ram SERVER# dd if=/dev/zero of=/ram/DATA bs=1G count=15 CLIENT# mount tmpfs /ram -t tmpfs ; cd /ram 1) Ethernet TCP/IP �f�[�^�]���v���̎菇 SERVER# taskset 1 thttpd -d /ram CLIENT# taskset 1 time wget http://X.X.X.X/DATA 2) InfiniBand RDMA �f�[�^�]���v���̎菇 SERVER# taskset 1 rcopy CLIENT# taskset 1 time rcopy /ram/DATA X.X.X.X:/ram/DATA
�@�ȈՓI�Ȏ������ʂł͂���܂����A���炪�\�z����V�X�e���ɕK�v�ȃf�[�^�]���e�ʂ͂ǂꂮ�炢�ł���A�œK�ȍ����l�b�g���[�N�͂ǂꂩ��I�Ԏw�W�Ƃ��Ă��g������������Ǝv���܂��B
�@���ɁA�����l�b�g���[�N�̐ڑ����@�ɂ��Č��Ă����܂��傤�B
�@1000BASE-TX�ł͂��Ȃ��݂́uRJ-45�R�l�N�^�v�ł����A10/40GbE��Infiniband�ڑ��ł͎g���Ă��܂���BSFP+��QSFP+�Ƃ�������^�R�l�N�^�ɑ������^���P�[�u������t�@�C�o�[��ڑ����č����f�[�^�]�����\�ɂ��Ă��܂��i�ʐ^1�j�B
�@10GbE��40GbE�ɂ́A�݊�����ۂӖ��ŁuQSFP+-to-SFP+�A�_�v�^�v���p�ӂ���Ă���A�����^�p�����S�ۂ���Ă���Ƃ�����ł��傤�B
�@Infiniband QDR 40Gbit/s��FDR 56Gbit/s�ڑ�����{�I�ɂ́AQSFP�ɂ��R�l�N�^���̗p����Ă��܂��B�������AQDR 40Gbit/s Infiniband�P�[�u����FDR 56Gbit/s�̃P�[�u���Ƃ��ė��p�ł��Ȃ��_�ɂ͒��ӂ��K�v�ł��B
�@�Ȃ��A�����m�b�N�X�iMellanox�j��Infiniband HCA�iHost Channel Adapter�j/NIC���p�A�_�v�^�i�ʐ^2�j�Ɍ������b�ł����A���̃A�_�v�^�ł́A1����10/40GbE��QDR 40Gbit/s FDR 56Gbit/s���ւ��Ȃ���g�����Ƃ��ł��܂��B�O�q�̃f�[�^�]���v���ɂ����̋@�\��p���A�܂���������������ŁA10Gbit/s����56Gbit/s�܂ŁA�C�[�T�l�b�g��Infiniband���ւ��Čv�����܂����B
�@�C�[�T�l�b�g�^Infiniband�ڑ��̐�ւ����@�͈ȉ��̂Ƃ���ł��B��{�I�ɂ́A�A�_�v�^�𓋍ڂ���OS�ォ��J�[�h�ݒ�����������邱�Ƃɂ���Ď������܂��B���̋@�\���������邽�߂ɁA�����m�b�N�X�̃A�_�v�^�����h���C�o�ɂ͂��Ƃ��ƃC�[�T�l�b�g��Infiniband�o���̃J�[�l�����W���[�������ڂ���Ă��܂��̂ŁA��ւ��ɂ͂��قǎ�Ԏ��܂���B
# connectx_port_config ���A�_�v�^�����ݗL���ɂȂ��Ă���ڑ��`�Ԃ�\������ ConnectX PCI devices : |----------------------------| | 1 0000:01:00.0 | |----------------------------| Before port change: eth eth
|----------------------------| ���A�_�v�^�ɐݒ肵�����ڑ��`�Ԃ�I���ł��� | Possible port modes: | | 1: Infiniband | | 2: Ethernet | | 3: AutoSense | |----------------------------| Select mode for port 1 (1,2,3):
�@���ɁA�A�_�v�^�̐ڑ��m�F�̎菇�����Ă����܂��傤�B�C�[�T�l�b�g��Infiniband�ł̓R�}���h���قȂ�_�ɒ��ӂ��K�v�ł��B
# ibstatus ��Infiniband HCA�ڑ��m�F�̎菇 Infiniband device 'mlx4_0' port 1 status: default gid: fe80:0000:0000:0000:0002:c903:0034:2121 base lid: 0x3 sm lid: 0x4 state: 4: ACTIVE phys state: 5: LinkUp rate: 56 Gb/sec (4X FDR) link_layer: InfiniBand
# ethtool eth3 ��40G Ethernet NIC�ڑ��m�F�̎菇 : Speed: 40000Mb/s # ethtool eth3 ��10G Ethernet NIC�ڑ��m�F�̎菇 : Speed: 10000Mb/s
�@10/40G �C�[�T�l�b�g NIC�̐ڑ��m�F�Ɏg���Ă���uethtool�v��Linux kernel 3.7-rc7�̍ŐV�ł��g���Ă��܂��B������ethtool�ł�40GbE���������\���ł��Ȃ��_�ɂ����ӂ��K�v�ł��B
�@����ɏd�v�Ȃ̂��APCI Express�ڑ��m�F�ł��BInfiniband FDR 56Gbit/s HCA�ł�PCI Express 3.0���g���Ă���ABIOS�ݒ��OS���x���ł��ꂪ���������삵�Ă��Ȃ���A�f�[�^�]�����\�ɑ傫���e�����y�ڂ��܂��B��̓I�ɂ́A�ŐV�Łupciutils�v�ɕt������lspci�R�}���h��p���ăA�_�v�^�P�ʂł̃����N�����܂��BPCI Express 3.0�Őڑ�����Infiniband HCA���uSpeed 8GT/s, Width x8�v�Ȃǂƌ����Ă���A����ɓ��삵�Ă��܂��B
# lspci -vv 01:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] Subsystem: Mellanox Technologies Device 0050 : LnkCap: Port #8, Speed 8GT/s, Width x8, ASPM L0s, Latency L0 unlimited, L1 unlimited : LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
�@�C�[�T�l�b�g��Infiniband�̃A�_�v�^�P�ʂŃf�[�^�]�����m�F�������ꍇ�ɂ́A�uvnstat�v��uibdatacounters�v��p����Ƃ悢�ł��傤�B�������Avnstat�̓C�[�T�l�b�g��Infiniband�̑o���ɑΉ����Ă��܂����Aibdatacounters��Infiniband�ɂ̂ݑΉ����Ă��܂��B
# vnstat -i eth3 -l Monitoring eth0... (press CTRL-C to stop) rx: 7.91 Gbit/s 523266 p/s tx: 9.82 Mbit/s 28584 p/s # ibdatacounters # Port counters: Lid 3 port 1 (CapMask: 0x1400) PortRcvData:.........................4294967295 PortRcvPkts:.........................29113741 :
�@���炪�\�z���鍂���l�b�g���[�N���ɍœK�ȃc�[����R�}���h��p���邱�ƂŁA���肵���V�X�e���^�p���\�ƂȂ�ł��傤�B
�@�����̏ꍇ�A�����l�b�g���[�N�Z�p��_���鎞�ɂ́A�f�[�^�]���e�ʂɂ̂ݎ��_���s���Ă��܂������ł��B������Web�T�[�r�X���l�������A��������傷�郂�o�C���[������ׂ̍����p�P�b�g���������邽�߂̐��\���d�v�ɂȂ��Ă���ł��傤�B
�@�����A���݂̂Ƃ���C���^�[�l�b�g�ォ�璼��Infiniband�ڑ����փp�P�b�g�����B���邱�Ƃ͂���܂���̂ŁA�����ł̓C�[�T�l�b�g�̃p�P�b�g�������E�ɂ��Č��Ă����܂��B
�@����̎����ł�OS�ƃp�P�b�g�h���C�o�A�����10/40GbE�̈Ⴂ���ȗ������Ē��ׂĂ��܂��B������̌v�����A�O���̃g���t�B�b�N�����@�킩��AMTU�T�C�Y64�o�C�g�ׂ̍����p�P�b�g���ʂɎA������ǂꂾ����肱�ڂ��Ȃ���M�ł��Ă��������v�����Ă��܂��BOS���Ƃ��ẮAnetmap�ƌĂ�鍂���p�P�b�g�����h���C�o��g�ݍ���FreeBSD��Linux��10/40GbE�Ŕ�r���܂����i�}3�j�B
�@��������ǂ݉����錋�ʂƂ��āA�uOS��10/40GbE�̈Ⴂ�ɂ������Ȃ��A3�`4Mpps�iMillion Packet/sec�j�t�߂ɏ������E�����Ă����v�Ƃ����_����������܂����B�v��������ьv�����@�ɂ���Ă��ω������邩�Ƃ͎v���܂����A�u�����悻�A���ꂮ�炢�����E�v�Ƃ����A�^����t����ɂ͏\���Ȏ������ʂł͂Ȃ����Ǝv���܂��B
Copyright © ITmedia, Inc. All Rights Reserved.