MapReduce��Java����Apache Hadoop���g���Ă݂��F���܍Ē��ڂ̕��U�����Z�p�i��ҁj�i1/3 �y�[�W�j

�ŋߒ��ڂ𗁂тĂ��镪�U�����Z�p�uMapReduce�v�̗��_���T���v������A���S���Y�����x���ŗ������A�̂��炠��Java�֘A�̕��U�����Z�p�����������W���i�ҏW���j

» 2008�N09��29�� 00��00�� ���J
[���R���j�C������ЃK�����I]

Apache Hadoop�v���W�F�N�g�Ƃ͉����H

�@�{���W�ł́A���܍Ē��ڂ̕��U�����Z�p�ɂ‚��Ă��낢��ƏЉ�Ă��܂����B�O�҂́uGoogle��MapReduce�A���S���Y����Java�ŗ��������v�ł́A���U�����Z�p�ōŋߒ��ڂ𗁂тĂ�����̂Ƃ��āA�O�[�O����MapReduce�A���S���Y�����Љ�A���҂́u�C���C���ȕ��U�����Z�p�ƃC�}�h�L��Web�T�[�r�X�v�ł́AMapReduce�Ɏ���܂ł̂��܂��܂ȕ��U�����Z�p��Web�T�[�r�X�ɂ‚��ďЉ�܂����B

�@����MapReduce�A���S���Y����Java�Ŏ����������̂�����܂��B����́A�uApache Hadoop�v�v���W�F�N�g�ŊJ������Ă��āA���łɎ��p��������ƒ������ʂ��o�Ă���悤�ł��i�Q�l�FHadoop�͑Ϗ�Q���ɉۑ肪���邪���p���\���j�B�Ō�̌�҂ł́AApache Hadoop�i�ȉ��AHadoop�j���g�����v���O�����̍쐬���@��������AHadoop�p��Eclipse�v���O�C�����Љ�܂��B

�@Hadoop�v���W�F�N�g�́A�uHadoop Core�v�ƁuHBase�v�Ƃ������\�t�g�E�F�A���J�����Ă��āA�I�[�v���\�[�X���C�Z���X��Apache License Version 2.0�Ō��J���Ă��܂��BHadoop�̃T�C�g�ɂ��ƁAHadoop Core�́A�uHDFS�iHadoop Distributed Filesystem�j�v�Ƃ������U�t�@�C���V�X�e����񋟂��AMapReduce���U�R���s���[�e�B���O���T�|�[�g���܂��BHBase�͕��U�f�[�^�x�[�X�ł��B����HBase����������ɓ�����AHadoop Core�����p����Ă��܂��B

�@�Ȃ��A������Google�̊�ՋZ�p�ɒu��������ƁAHDFS�́uGoogle File System�v�AHBase�́uBigTable�v��Java�����ƂȂ�܂��B�����Hadoop Core�������g���Ă݂܂��B

Hadoop���g�����߂̏���

�@Hadoop�𓮍삳���邽�߂ɂ́AUbuntu��Fedora�Ƃ�����Linux�nOS���g���܂��BWindows�ł�����܂����A�J�����̂悤�ł��B�܂��AJava 5�ȍ~��Assh�iSecure SHell�j�Arsync�R�}���h���K�v�ł��Bsshd�issh�̃f�[�����j�����삵�Ă���K�v������܂��B���̕ӂ�Ɋ���Ă��Ȃ��ƁA������Ƒ�ς�������܂���B

�@����͎茳��VMware Player�œ��삷��Linux�f�B�X�g���r���[�V������1��Fedora 7�̓��{��ł��������̂ŁA�����œ������Ă݂܂����B�����ł́A�ł��邾���C�y�Ɏ������@���Љ��Ƃ������ƂŁA�����̃}�V�����g�����ғ����@�ł͂Ȃ��A�P�̃}�V���œ��������@���Љ�邱�Ƃɂ��܂��B�P�̂œ��삳����ɂ�SSH�͓����Ă��Ȃ��Ă������悤�ł����A���U���ē��삳����Ƃ��̂��߂ɃC���X�g�[���ɂ‚��ẮASSH�̐ݒ�����Ă������Ƃɂ��܂��B

��Linux�pJDK 6 Update 7�̃C���X�g�[��

�@�܂��́ALinux�pJDK��rpm�ł��_�E�����[�h���āA�C���X�g�[�����܂��B�uJava SE Downloads�v����2008�N8���̌��e���M���_�ōŐV�ł�JDK 6 Update 7�ijdk-6u7-linux-i586-rpm.bin�j���g���܂����B

�@�C���X�g�[����Ƃ�root�ōs���܂��Bjdk-6u7-linux-i586-rpm.bin�����s����ƁA���C�Z���X���\�������̂ŁA�mspace�n�L�[�������ăy�[�W�𑗂�A�Ō�Ɂuyes�v����͂��ē��ӂ����܂��B����ƁAJDK���C���X�g�[������܂��B

# chmod +x jdk-6u7-linux-i586-rpm.bin
# ./jdk-6u7-linux-i586-rpm.bin

�c�c�i���j�c�c

Do you agree to the above license terms? [yes or no]
yes

�c�c�i���j�c�c

�@�C���X�g�[�����I������ƁA�u/usr/java/latest�v�f�B���N�g���ɍŐV�ł�JDK���p�ӂ����̂ŁA���삷�邩�m�F�����܂��B

# /usr/java/latest/bin/java -version
ava version "1.6.0_07"
Java(TM) SE Runtime Environment (build 1.6.0_07-b06)
Java HotSpot(TM) Client VM (build 10.0-b23, mixed mode, sharing)

��Fedora 7��hadoop���[�U�[��lj�

�@���ɁA���L�̂悤�Ɂuhadoop�v���[�U�[��lj����āAlocalhost��ssh�Ń��O�C���ł���悤�ɂ��܂��B�p�X�t���[�Y�͋�ɂ��Ă��܂��B

# adduser hadoop
# su - hadoop
$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
60:19:1a:d5:2a:3b:fd:b2:30:b7:de:cd:bb:1a:f8:85 hadoop@localhost

$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
$ chmod 600 .ssh/authorized_keys

�@hadoop���[�U�[�ŁAlocalhost��ssh�Ń��O�C���ł��邱�Ƃ��m�F���܂��B�������܂������Ȃ������ꍇ�́ussh -vvv localhost�v�Ƃ��āA������`�F�b�N���Č�����˂��~�߂Ă��������B���O�C���ł��邱�Ƃ��m�F������Aexit�����Ă��������B

$ ssh localhost
$ exit

��Hadoop�̃C���X�g�[��

�@�������ł�����AHadoop���_�E�����[�h���ăC���X�g�[�����܂��B����́A2008�N8���̎��M���_�ł̍ŐV�łł���uApache Hadoop 0.18.0(hadoop-0.18.0.tar.gz)�v���g�����Ƃɂ��܂����B�uWelcome to Hadoop!�v�̃y�[�W�ɂ���uDownload�v���炽�ǂ�ƁA�_�E�����[�h�y�[�W�ɍs�����Ƃ��ł��܂��B���̃y�[�W�ŕ\�������T�C�g�̒�����_�E�����[�h�T�C�g��I��ŁA�t�@�C�����_�E�����[�h���܂��B

�@�_�E�����[�h�����t�@�C���͓W�J���āA�V���{���b�N�����N���쐬���Ă����܂��B���ɁA�ݒ�t�@�C���uhadoop/conf/hadoop-env.sh�v��ҏW���܂��B

$ tar xzf hadoop-0.18.0.tar.gz
$ ln -s hadoop-0.18.0 hadoop
$ vi hadoop/conf/hadoop-env.sh

�@�ݒ�t�@�C�����ł́A�‹��ϐ��uJAVA_HOME�v���w�肷��K�v������̂ŁA���̂悤�Ɏw�肵�܂��B

export JAVA_HOME=/usr/java/latest

���t���T���v����Hadoop�̓���m�F

�@Hadoop�ɂ́A�T���v�����t���Ă��܂��B�������A���̂悤�ɂ��Ď��s���邱�Ƃ��ł��܂��B

�@�uinput�v�f�B���N�g���ɂ́A���̓f�[�^�ƂȂ�t�@�C���Ƃ��āuconf/*.xml�v���R�s�[���ē���Ă����܂��B�P��̏o���񐔂��J�E���g����uwordcount�v�T���v���̎��s���ʂ́Aoutput.wordcount�t�@�C���ɏo�͂���܂��B

�@�܂��A�u'dfs[a-z.]+'�v�Ƃ������K�\���Ƀ}�b�`����s���o�͂���ugrep�v�T���v���̎��s���ʂ́Aoutput.grep�t�@�C���ɏo�͂���܂��B

$ cd hadoop
$ mkdir input
$ cp conf/*.xml input/
$ bin/hadoop jar hadoop-0.18.0-examples.jar wordcount input output.wordcount
$ bin/hadoop jar hadoop-0.18.0-examples.jar grep input output.grep 'dfs[a-z.]+'

�@�����ݒ�ł́AHadoop�͒P�̂�Java�v���Z�X�Ŏ��s����郂�[�h�ƂȂ��Ă��܂��B1�‚̃}�V�������Ńv���O�����𓮍삳���邱�Ƃ��ł���̂ŁA����m�F���ȒP�ɂł��܂��B

�@����MapReduce�̃A���S���Y�����O���ŗ������܂�������A���y�[�W�ł́A����𓪂ɒu����Hadoop���g�����v���O���������Ă݂邱�Ƃɂ��܂��傤�B�Y��Ă��܂����ǎ҂͂���1�x�O�҂�ǂݕԂ��Ă����Ă��������B

�@�@�@�@�@�@ 1|2|3 ���̃y�[�W��

Copyright © ITmedia, Inc. All Rights Reserved.

'; if( !this.isSubscription ) { this.insertTarget = document.querySelector('#cmsBody .subscription') || document.querySelector('#cmsBody .inner'); } }; BodyAdIMSWithCCE.prototype = Object.create(BodyAdContent.prototype); BodyAdIMSWithCCE.prototype.activate = function () { refreshGam('InArtSpecialLink'); } // global reference window.itm = itm; //entry point BodyAdEventBase.polyfill(); const bodyAdManager = BodyAdManager.getInstance(); bodyAdManager.addEventListener(BodyAdManager.EVENTS.READY, function (ev) { bodyAdManager.loadAdvertise(); }); bodyAdManager.init(); })();
�X�|���T�[����̂��m�点PR

���ڂ̃e�[�}

4AI by IT - AIAAA
Microsoft  WindowsőO2025
AI for GWjAO
[R[h^m[R[h Zg by IT - ITGWjArWlX̒SŊ􂷂gD
Cloud Native Central by IT - XP[uȔ\͂gD
�V�X�e���J���m�E�n�E �y�����i�r�zPR
���Ȃ��ɂ������߂̋L��PR

RSS�ɂ‚���

�A�C�e�B���f�B�AID�ɂ‚���

���[���}�K�W���o�^

��IT�̃��[���}�K�W���́A �������A���ׂĖ����ł��B���Ѓ��[���}�K�W�������w�ǂ��������B