������Hadoop�̓����́A
MapReduce 2��Giraph


Hadoop�̕��ɕ����AHadoop��Cloudera�̌��݁E����

�L����ЃI���O�X
�㓡 ��n
2011/9/15


�� ����������Hadoop���p���

�@��K�̓f�[�^�̕��͂ɁAJava�̃t���[�����[�N�uApache Hadoop�v�i�ȉ��AHadoop�j���̗p���鎖�Ⴊ�����Ă���BHadoop��MapReduce�̎����n��1�‚ŁA���Ƀ��O�f�[�^��͂⃊�T�[�`�ړI�̑�K�̓f�[�^���͂�v�Z�ȂǂɊ��p����Ă���BTwitter��Facebook�Amixi�ALinkedIn�AGroupon�AAmazon�AeBay�AYahoo!�A�y�V�A�N�b�N�p�b�h�A���N���[�g�A�f�B�[�E�G�k�E�G�[�A�T�C�o�[�G�[�W�F���g�Ȃǂ̂�����Web�T�[�r�X�n��Ƃ����łȂ��ANTT�f�[�^�AAmazon Web Services�A��������}���فAEMC�APFI�A�E���V�X�e���Y�A�t�@�[�E�G�C�E�e�N�m���W�[�Y�ȂǁA���܂��܂Ȋ�Ƃ����p���Ă���B

�@����AHadoop�̊J���҂ł���Hadoop�̑�\�I�Ȏx����Ƃ�1����Cloudera�̃`�[�t�A�[�L�e�N�g�ł���Doug Cutting�i�_�O�E�J�b�e�B���O�j�����������AHadoop�̗��p�󋵂⎟��Hadoop�ɂ‚��Ęb�𕷂��@��𓾂��B���̋����[�����e���Љ��B

�� ��ʃf�[�^�̕��͂��D�ꂽ���ʂɂ‚Ȃ���


��Cloudera �`�[�t�A�[�L�e�N�g Doug Cutting�i�_�O�E�J�b�e�B���O�j���B�I�[�v���\�[�X�̌����G���W���uLucene�v�uNutch�v�̑n�n�҂ł�����BCloudera�̑O�́AExcite�AApple�AXerox �p���A���g�������AYahoo!�ɍݐЁB�u���Ȃ��f�[�^���������f�[�^�̕����ǂ��B���ǂ����͌��ʂ𓾂���B��ʂ̃f�[�^�̓v���_�N�V�����A���S���Y���𒴂���B��葽���̃f�[�^���D�܂����v

�@Hadoop�����ڂ���Ă���w�i�ɂ́A��ʂ̃f�[�^�𕪐͂��邱�ƂŗD�ꂽ�g���ʁh�������₷������Ƃ������R������B�܂��A���͂��ׂ��f�[�^�̗ʂ�1���PC�ŎJ����悤�ȃ��x�����͂邩�ɒ�����P�[�X�������Ă���A������PC���g���ď��������{����K�v������BHadoop�̂悤�ȕ��U�������”\�Ȏ����n���Ȃ��Ă̓f�[�^���͂������ł��Ȃ��Ƃ�������������B

�@�u���{�ɂ�����Hadoop�̊��p����͂悭������Ȃ����A�O���[�o���ɍł��悭�g����V�[�������O�f�[�^�̉�����B�W�߂��f�[�^���W�v���ĕ��͂��邱�ƂŁAWeb�T�C�g�̕i�����グ�鎑���Ƃ��Ċ��p������A�^�p�\���̂��߂̃f�[�^�Ƃ��ė��p�ł���B����1�—ǂ��g����̂��C���f�b�N�X�����B�f�[�^���W�ς��Ă��ĕ��ނ���ѐ��`�����{���A�f�[�^�x�[�X�ŗ��p�ł���`�։��H����v�i�J�b�e�B���O���j

�@�uHadoop���o�b�`�����ɂ��g���Ă��邪�A�A�h�z�b�N�ȁi����̖ړI�̂��߂́j�����ɂ��悭���p����Ă���B������g���T�[�`�h�ړI�Ƃ��ăg���C���G���[���J��Ԃ��ď��������Ă����Ƃ������Ƃ��s���Ă���v�i�J�b�e�B���O���j

�@�f�[�^���͂Ɏg����Hadoop�����A�J���҂�Z�p�҂��ʏ�̌v�Z�p�r�ł����p���Ă���_�ɒ��ڂ��Ă��������BMapReduce�̈��������������Ă���΁AHadoop�͍����ɏ��������{���邽�߂֗̕��ȃv���b�g�t�H�[���Ƃ��Ċ��p�ł���B

�� Hadoop�Ƃ����Ε�Cloudera - ���{�͕č��Ɏ�����2�̎s��

�@�u�����̃r�W�l�X��Red Hat��Linux�ōs���Ă��邱�ƂƂ悭���Ă���BHadoop�Ȃ�Cloudera�A�Ƃ������Ƃ��B�T�[�r�X��T�|�[�g�ȂǁAHadoop�Ȃǂ̃\�t�g�E�F�A�ɉ��l��^����Ƃ��������Ƃ�����Ă���B�g���[�j���O���񋟂��Ă���A�o�O�C���Ƃ������\�t�g�E�F�A�T�|�[�g���񋟂��Ă���B��Ƃ͎��������Ńo�O�𒼂������Ƃ͍l���Ȃ����̂����炾�v�i�J�b�e�B���O���j

�@��Cloudera�̎�v�s��͕č������A���ЂɂƂ��Ď��ɑ傫�Ȏs��͓��{���Ƃ����B�������ɁA���łɕ�Cloudera�͓��{�̊�Ƃƃ��Z���[�_�������ł���A2011�N9������͓��{��ɂ��g���[�j���O���J�n�����B

�@�u����́A�����܂ł������ł����Č��莖���ł͂Ȃ����A���{�̎��ɏd�v�ɂȂ�s��͉��B�A���ɃC�M���X�ƃh�C�c�ӂ�ł͂Ȃ����ƍl���Ă���B�A�W�A�œ��{�ȊO�ł͂ǂ������̎s��ɂȂ�̂��͕�����Ȃ��B�傫�Ȑl��������傫�Ȏs�ꂪ�������Ƃ��Ă��A���ꂪ���̎s��ɂȂ�Ƃ͌���Ȃ����炾�v�i�J�b�e�B���O���j

�@�܂��J�b�e�B���O���͂���������B�u�����͌ڋq���x���_���b�N�C���̏�Ԃɂ͂������Ȃ��Ƃ����z��������B���̂��߁A���ׂĂ�API�̓I�[�v���\�[�X�Ƃ����`�Ō��J���Ă���B�����͓����Ƀ��j�^�����O�\�t�g�E�F�A�̔̔������Ă��邪�A�����Hadoop�Ƃ͐؂藣�����r�W�l�X�ƂȂ��Ă���v

�� �v���_�N�g�̔��ł͂Ȃ��A���l�����߂�T�[�r�X���

�@��Cloudera��Hadoop���܂ނ����‚��̃I�[�v���\�[�X�v���_�N�g���܂Ƃ߂��v���b�g�t�H�[���uCDH�iCloudera's Distribution including Apache Hadoop�j�v��񋟂��Ă���BHadoop�����ۂɊ��p�ł���`�ɂ܂Ƃ߂������v���_�N�g���B�uCDH�v�̂悤�ȃv���_�N�g�����p���邱�ƂŊȒP�Ɍ����̗ǂ������‹����\�z�ł���Ƃ����B

�@�u�����̃I�[�v���\�[�X�v���_�N�g�ł���CDH�͑����̃��[�U�[�����p���Ă���B�I�[�v���\�[�X�Œ񋟂��Ă��邽�ߐ��m�Ȑ��͕�����Ȃ����A���S����ꍇ�ɂ���Ă͐���̃��[�U�[���g���Ă���ƌ�����v�i�J�b�e�B���O���j

�@�u�ǂ̒��x�̌ڋq������̂��́A�Ȃ��Ȃ����`���ł��Ȃ��̂����A�����͌ڋq���������������]�ƈ����ق��Ƃ����N�w�������Ă���B���ł�100�l�𒴂���]�ƈ����ٗp���Ă���B���{�ł�5���قǂ̏]�ƈ����Ɩ��ɏ]�����Ă���B�]�ƈ������Ȃ��Ɗ����邩������Ȃ����A����͓��{�ɂ�NTT�f�[�^�Ȃǂ̃��Z���[�����łɑ��݂��Ă��邩�炾�v�i�J�b�e�B���O���j

�� ����Hadoop�͑啝�Ƀp�t�H�[�}���X�E�A�b�v

�@���ł�Hadoop�𗘗p���Ă���J���҂�^�p�҂Ƃ��ẮA2012�N�ɓo�ꂷ��Ƃ݂��鎟��Hadoop�łǂ��������ύX������̂����C�ɂȂ�Ƃ��낾�B�J�b�e�B���O���Ɏ���Hadoop�⎟��CDH�Ɋւ�������������Ă�������B

�@�u���N�o�ꂷ�邱�ƂɂȂ�Hadoop�ł͑����̐V�@�\���lj������B�܂��A�wHDFS�iHadoop Distributed File System�j�x�̃p�t�H�[�}���X�����P�����B���ɁA�ǂݍ��݂Ɋւ���p�t�H�[�}���X����������B�ǂݍ��݂��p�ɂɎ��{�����wHBase�x�Ƃ������A�v���P�[�V�����̐��\���オ���҂ł���BHDFS�̂���1�‚̉��P���l�[���m�[�h�̏璷���ɂ���B����ɂ���ĉ—p�������シ�邱�ƂɂȂ�v�i�J�b�e�B���O���j

�@�uMapReduce�Ɋւ��ẮA�wMapReduce 2�x�ƌĂ΂�銮�S�ɏ���������ꂽ���������������BMapReduce 2�ł́A�����̎������g�W���u�̎��s�h�Ɓg�X�P�W���[�����O�h�Ƃ���2�‚ւ̕��������{����Ă���BMapReduce 2�𓱓����邱�ƂŁA1�‚̃N���X�^��MapReduce�ȊO�̃A���S���Y�������s�ł����悤�ɂȂ�B���̗���O���t�A���S���Y���̏����Ȃǂ��B��̓I�ɂ͑�K�̓O���t��������������wGiraph�x����������邱�ƂɂȂ邾�낤�B�\�[�V�����O���t�ł���Ƃ�Web�y�[�W�̃����N�ł���Ƃ��A������w�O���t�\���x���������邽�߂̂��̂��v�i�J�b�e�B���O���j

�@�u����CDH�Ɋւ��āA�����炭�ł��傫�ȕύX�́wApache Bigtop�x�̗̍p�ɂ���BBigtop����������r���h�܂ł������������@�\�B���̋@�\�𗘗p����CDH�Ɏ��R�ɋ@�\��g�ݍ��߂�悤�ɂ���B������������CDH��Bigtop���g���č\�z����邱�ƂɂȂ�B���炭2012�N�̑O���ɂ͎���CDH�������[�X�ł��邾�낤�B���������z�z���͂��ׂčŐV�łɃA�b�v�f�[�g����邱�ƂɂȂ�v�i�J�b�e�B���O���j

�� Asakusa�t���[�����[�N�A���߂Ēm�������Nj����[����

�@���{�ɂ�����Hadoop�Ƃ����΁uAsakusa�v�t���[�����[�N���v�������ׂ郆�[�U�[���������낤�B�Ō�ɁA�J�b�e�B���O����Asakusa�t���[�����[�N�ɂ‚��Ă����˂Ă݂��B

�@�u���{�ɗ���܂�Asakusa�t���[�����[�N�ɂ‚��Ēm��Ȃ������̂����A���̐����ԁA�����Ȑl����Asakusa�t���[�����[�N�ɂ‚��Ęb�𕷂��ċ����������Ă���B���z���ƂĂ������[���A�����ƒm�肽���Ǝv���Ă���v�i�J�b�e�B���O���j

Hadoop�̃}�X�R�b�g�̊�ɂȂ����Ƃ����A���F���ۂ̂ʂ�����݂������A�Ί�ŎB�e�ɉ����Ă��ꂽ�J�b�e�B���O���B�u������Hadoop�̃T�u�v���W�F�N�g�̒��Ől�C������̂́A�@�B�w�K�^�f�[�^�}�C�j���O�̃��C�u�����wApache Mahout�x���B����Hadoop�ɂ��g�ݍ��܂��v

�� �֘A�����N


MapReduce��Java����Apache Hadoop���g���Ă݂�
���܍Ē��ڂ̕��U�����Z�p�i��ҁj�@
�I�[�v���\�[�X��Hadoop
���C���X�g�[�����ăT���v���A�v�������s����܂ł̎菇�◘�_��������‚AEclipse�v���O�C�����Љ�悤
�uJava Solution�v�t�H�[���� 2008/9/29
�e�L�X�g�}�C�j���O�Ŏn�߂���HHadoop���p
Hadoop�Ƃ͉�����������A���ۂ�Hadoop���g���āA��K�̓f�[�^��Ώۂɂ����e�L�X�g�}�C�j���O���s���܂��B�e�L�X�g�}�C�j���O���s���T���v���v���O�����̍쐬��ʂ��āAHadoop�̎g������A�ǂ̂悤�Ɋ��p�ł���̂���������܂�
���UKey-Value�X�g�A�̖{���uBigtable�v
RDB�Ƃ͕ʂ́A�N���E�h����̃f�[�^�x�[�X�Ƃ��Ē��ڂ𗁂тĂ���u���UKey-Value�X�g�A�v�B���̖{���Ƃ�������AGoogle�̐��X�̃T�[�r�X�̊�ՋZ�p�uBigtable�v�ɂ‚��ēO����
 
�u�N���E�h�Ŏ��v�u�N���E�h�����v
Hadoop�ŃX�p���΍���A�č����Z�L�����e�B�g�����h���|�[�g
�@RSA Conference 2010�ł̃f�B�X�J�b�V��������Ɂu�N���E�h�Z�L�����e�B�v�̍ŐV���������|�[�g
�uSecurity&Trust�v�t�H�[���� 2010/5/11
Hadoop�{Hive���؊‹����\�z���Ă݂�
Hive�\�\RDB�g���̂��߂�Hadoop�K�C�h�i�O�j
�@Hadoop���SQL���C�N�ȑ��삪�”\��DWH�����̃v���_�N�gHive�BRDB�Ɋ��ꂽ�l�ɂ��g���₷���̂ŁA���Ў�������
�uDatabase Expert�v�t�H�[���� 2009/2/27

�� ���҃v���t�B�[��



�㓡 ��n

�I���O�X��\������B��IT�ւ̊�e�AMYCOM�W���[�i���ɂ�����j���[�X���M�̂ق��A�A�v���P�[�V�����J����V�X�e���\�z�A�w�������� FreeBSD�r�M�i�[�Y�o�C�u���x�wD����p�[�t�F�N�g�K�C�h�x�wUNIX�{�i�}�X�^�[�@��b�ҁ`Linux��FreeBSD���g�����Ȃ����߂̑����`�x�Ȃǒ��������B

Java Solution�S�L���ꗗ


Java Agile �t�H�[���� �V���L��
��IT���[���}�K�W���@�V������X�^�b�t�̃R���������[���œ͂��܂��i�����j

���ڂ̃e�[�}

Java Agile �L�������L���O

�{�� ����