�ŋߒ��ڂ𗁂тĂ��镪�U�����Z�p�uMapReduce�v�̗��_���T���v������A���S���Y�����x���ŗ������A�̂��炠��Java�֘A�̕��U�����Z�p�����������W���i�ҏW���j
�@�{���W�ł́A���܍Ē��ڂ̕��U�����Z�p�ɂ��Ă��낢��ƏЉ�Ă��܂����B�O�҂́uGoogle��MapReduce�A���S���Y����Java�ŗ��������v�ł́A���U�����Z�p�ōŋߒ��ڂ𗁂тĂ�����̂Ƃ��āA�O�[�O����MapReduce�A���S���Y�����Љ�A���҂́u�C���C���ȕ��U�����Z�p�ƃC�}�h�L��Web�T�[�r�X�v�ł́AMapReduce�Ɏ���܂ł̂��܂��܂ȕ��U�����Z�p��Web�T�[�r�X�ɂ��ďЉ�܂����B
�@����MapReduce�A���S���Y����Java�Ŏ����������̂�����܂��B����́A�uApache Hadoop�v�v���W�F�N�g�ŊJ������Ă��āA���łɎ��p��������ƒ������ʂ��o�Ă���悤�ł��i�Q�l�FHadoop�͑Ϗ�Q���ɉۑ肪���邪���p���\���j�B�Ō�̌�҂ł́AApache Hadoop�i�ȉ��AHadoop�j���g�����v���O�����̍쐬���@��������AHadoop�p��Eclipse�v���O�C�����Љ�܂��B
�@Hadoop�v���W�F�N�g�́A�uHadoop Core�v�ƁuHBase�v�Ƃ������\�t�g�E�F�A���J�����Ă��āA�I�[�v���\�[�X���C�Z���X��Apache License Version 2.0�Ō��J���Ă��܂��BHadoop�̃T�C�g�ɂ��ƁAHadoop Core�́A�uHDFS�iHadoop Distributed Filesystem�j�v�Ƃ������U�t�@�C���V�X�e������AMapReduce���U�R���s���[�e�B���O���T�|�[�g���܂��BHBase�͕��U�f�[�^�x�[�X�ł��B����HBase����������ɓ�����AHadoop Core�����p����Ă��܂��B
�@�Ȃ��A������Google�̊�ՋZ�p�ɒu��������ƁAHDFS�́uGoogle File System�v�AHBase�́uBigTable�v��Java�����ƂȂ�܂��B�����Hadoop Core�������g���Ă݂܂��B
�@Hadoop�삳���邽�߂ɂ́AUbuntu��Fedora�Ƃ�����Linux�nOS���g���܂��BWindows�ł�����܂����A�J�����̂悤�ł��B�܂��AJava 5�ȍ~��Assh�iSecure SHell�j�Arsync�R�}���h���K�v�ł��Bsshd�issh�̃f�[�����j�����삵�Ă���K�v������܂��B���̕ӂ�Ɋ���Ă��Ȃ��ƁA������Ƒ�ς�������܂���B
�@����͎茳��VMware Player�œ��삷��Linux�f�B�X�g���r���[�V������1��Fedora 7�̓��{��ł��������̂ŁA�����œ������Ă݂܂����B�����ł́A�ł��邾���C�y�Ɏ������@���Љ��Ƃ������ƂŁA�����̃}�V�����g�����ғ����@�ł͂Ȃ��A�P�̃}�V���œ��������@���Љ�邱�Ƃɂ��܂��B�P�̂œ��삳����ɂ�SSH�͓����Ă��Ȃ��Ă������悤�ł����A���U���ē��삳����Ƃ��̂��߂ɃC���X�g�[���ɂ��ẮASSH�̐ݒ�����Ă������Ƃɂ��܂��B
�@�܂��́ALinux�pJDK��rpm�ł��_�E�����[�h���āA�C���X�g�[�����܂��B�uJava SE Downloads�v����2008�N8���̌��e���M���_�ōŐV�ł�JDK 6 Update 7�ijdk-6u7-linux-i586-rpm.bin�j���g���܂����B
�@�C���X�g�[����Ƃ�root�ōs���܂��Bjdk-6u7-linux-i586-rpm.bin�����s����ƁA���C�Z���X���\�������̂ŁA�mspace�n�L�[�������ăy�[�W�𑗂�A�Ō�Ɂuyes�v����͂��ē��ӂ����܂��B����ƁAJDK���C���X�g�[������܂��B
# chmod +x jdk-6u7-linux-i586-rpm.bin |
�@�C���X�g�[�����I������ƁA�u/usr/java/latest�v�f�B���N�g���ɍŐV�ł�JDK���p�ӂ����̂ŁA���삷�邩�m�F�����܂��B
# /usr/java/latest/bin/java -version |
�@���ɁA���L�̂悤�Ɂuhadoop�v���[�U�[��lj����āAlocalhost��ssh�Ń��O�C���ł���悤�ɂ��܂��B�p�X�t���[�Y�͋�ɂ��Ă��܂��B
# adduser hadoop |
�@hadoop���[�U�[�ŁAlocalhost��ssh�Ń��O�C���ł��邱�Ƃ��m�F���܂��B�������܂������Ȃ������ꍇ�́ussh -vvv localhost�v�Ƃ��āA������`�F�b�N���Č�����˂��~�߂Ă��������B���O�C���ł��邱�Ƃ��m�F������Aexit�����Ă��������B
$ ssh localhost |
�@�������ł�����AHadoop���_�E�����[�h���ăC���X�g�[�����܂��B����́A2008�N8���̎��M���_�ł̍ŐV�łł���uApache Hadoop 0.18.0(hadoop-0.18.0.tar.gz)�v���g�����Ƃɂ��܂����B�uWelcome to Hadoop!�v�̃y�[�W�ɂ���uDownload�v���炽�ǂ�ƁA�_�E�����[�h�y�[�W�ɍs�����Ƃ��ł��܂��B���̃y�[�W�ŕ\�������T�C�g�̒�����_�E�����[�h�T�C�g��I��ŁA�t�@�C�����_�E�����[�h���܂��B
�@�_�E�����[�h�����t�@�C���͓W�J���āA�V���{���b�N�����N���쐬���Ă����܂��B���ɁA�ݒ�t�@�C���uhadoop/conf/hadoop-env.sh�v��ҏW���܂��B
$ tar xzf hadoop-0.18.0.tar.gz |
�@�ݒ�t�@�C�����ł́A���ϐ��uJAVA_HOME�v���w�肷��K�v������̂ŁA���̂悤�Ɏw�肵�܂��B
export JAVA_HOME=/usr/java/latest |
�@Hadoop�ɂ́A�T���v�����t���Ă��܂��B�������A���̂悤�ɂ��Ď��s���邱�Ƃ��ł��܂��B
�@�uinput�v�f�B���N�g���ɂ́A���̓f�[�^�ƂȂ�t�@�C���Ƃ��āuconf/*.xml�v���R�s�[���ē���Ă����܂��B�P��̏o�����J�E���g����uwordcount�v�T���v���̎��s���ʂ́Aoutput.wordcount�t�@�C���ɏo�͂���܂��B
�@�܂��A�u'dfs[a-z.]+'�v�Ƃ������K�\���Ƀ}�b�`����s���o�͂���ugrep�v�T���v���̎��s���ʂ́Aoutput.grep�t�@�C���ɏo�͂���܂��B
$ cd hadoop |
�@�����ݒ�ł́AHadoop�͒P�̂�Java�v���Z�X�Ŏ��s����郂�[�h�ƂȂ��Ă��܂��B1�̃}�V�������Ńv���O�����삳���邱�Ƃ��ł���̂ŁA����m�F���ȒP�ɂł��܂��B
�@����MapReduce�̃A���S���Y�����O���ŗ������܂�������A���y�[�W�ł́A����ɒu����Hadoop���g�����v���O���������Ă݂邱�Ƃɂ��܂��傤�B�Y��Ă��܂����ǎ҂͂���1�x�O�҂�ǂݕԂ��Ă����Ă��������B
Copyright © ITmedia, Inc. All Rights Reserved.