������Hadoop�̓����́A
MapReduce 2��Giraph
Hadoop�̕��ɕ����AHadoop��Cloudera�̌��݁E����
�L����ЃI���O�X
�㓡 ��n
2011/9/15
�� ����������Hadoop���p���
�@��K�̓f�[�^�̕��͂ɁAJava�̃t���[�����[�N�uApache Hadoop�v�i�ȉ��AHadoop�j���̗p���鎖�Ⴊ�����Ă���BHadoop��MapReduce�̎����n��1�ŁA���Ƀ��O�f�[�^��͂�T�[�`�ړI�̑�K�̓f�[�^���͂�v�Z�ȂǂɊ��p����Ă���BTwitter��Facebook�Amixi�ALinkedIn�AGroupon�AAmazon�AeBay�AYahoo!�A�y�V�A�N�b�N�p�b�h�A���N���[�g�A�f�B�[�E�G�k�E�G�[�A�T�C�o�[�G�[�W�F���g�Ȃǂ̂�����Web�T�[�r�X�n��Ƃ����łȂ��ANTT�f�[�^�AAmazon Web Services�A��������}���فAEMC�APFI�A�E���V�X�e���Y�A�t�@�[�E�G�C�E�e�N�m���W�[�Y�ȂǁA���܂��܂Ȋ�Ƃ����p���Ă���B
�@����AHadoop�̊J���҂ł���Hadoop�̑�\�I�Ȏx����Ƃ�1����Cloudera�̃`�[�t�A�[�L�e�N�g�ł���Doug Cutting�i�_�O�E�J�b�e�B���O�j�����������AHadoop�̗��p�⎟��Hadoop�ɂ��Ęb���@����B���̋����[�����e���Љ��B
�� ��ʃf�[�^�̕��͂��D�ꂽ���ʂɂȂ���
��Cloudera �`�[�t�A�[�L�e�N�g Doug Cutting�i�_�O�E�J�b�e�B���O�j���B�I�[�v���\�[�X�̌����G���W���uLucene�v�uNutch�v�̑n�n�҂ł�����BCloudera�̑O�́AExcite�AApple�AXerox �p���A���g�������AYahoo!�ɍݐЁB�u���Ȃ��f�[�^���������f�[�^�̕����ǂ��B���ǂ����͌��ʂ���B��ʂ̃f�[�^�̓v���_�N�V�����A���S���Y������B��葽���̃f�[�^���D�܂����v |
�@Hadoop�����ڂ���Ă���w�i�ɂ́A��ʂ̃f�[�^�͂��邱�ƂŗD�ꂽ�g���ʁh�������₷������Ƃ������R������B�܂��A���͂��ׂ��f�[�^�̗ʂ�1���PC�ŎJ����悤�ȃ��x�����͂邩�ɒ�����P�[�X�������Ă���A������PC���g���ď��������{����K�v������BHadoop�̂悤�ȕ��U�������\�Ȏ����n���Ȃ��Ă̓f�[�^���͂������ł��Ȃ��Ƃ�������������B
�@�u���{�ɂ�����Hadoop�̊��p����͂悭������Ȃ����A�O���[�o���ɍł��悭�g����V�[�������O�f�[�^�̉�����B�W�߂��f�[�^���W�v���ĕ��͂��邱�ƂŁAWeb�T�C�g�̕i�����グ�鎑���Ƃ��Ċ��p������A�^�p�\���̂��߂̃f�[�^�Ƃ��ė��p�ł���B����1�ǂ��g����̂��C���f�b�N�X�����B�f�[�^���W�ς��Ă��ĕ��ނ���ѐ��`�����{���A�f�[�^�x�[�X�ŗ��p�ł���`�։��H����v�i�J�b�e�B���O���j
�@�uHadoop���o�b�`�����ɂ��g���Ă��邪�A�A�h�z�b�N�ȁi����̖ړI�̂��߂́j�����ɂ��悭���p����Ă���B������g���T�[�`�h�ړI�Ƃ��ăg���C���G���[���J��Ԃ��ď��������Ă����Ƃ������Ƃ��s���Ă���v�i�J�b�e�B���O���j
�@�f�[�^���͂Ɏg����Hadoop�����A�J���҂�Z�p�҂��ʏ�̌v�Z�p�r�ł����p���Ă���_�ɒ��ڂ��Ă��������BMapReduce�̈��������������Ă���AHadoop�͍����ɏ��������{���邽�߂֗̕��ȃv���b�g�t�H�[���Ƃ��Ċ��p�ł���B
�� Hadoop�Ƃ����Ε�Cloudera - ���{�͕č��Ɏ�����2�̎s��
�@�u�����̃r�W�l�X��Red Hat��Linux�ōs���Ă��邱�ƂƂ悭���Ă���BHadoop�Ȃ�Cloudera�A�Ƃ������Ƃ��B�T�[�r�X��T�|�[�g�ȂǁAHadoop�Ȃǂ̃\�t�g�E�F�A�ɉ��l��^����Ƃ��������Ƃ�����Ă���B�g���[�j���O�����Ă���A�o�O�C���Ƃ������\�t�g�E�F�A�T�|�[�g�����Ă���B��Ƃ͎��������Ńo�O�������Ƃ͍l���Ȃ����̂����炾�v�i�J�b�e�B���O���j
�@��Cloudera�̎�v�s��͕č������A���ЂɂƂ��Ď��ɑ傫�Ȏs��͓��{���Ƃ����B�������ɁA���łɕ�Cloudera�͓��{�̊�Ƃƃ��Z���[�_�������ł���A2011�N9������͓��{��ɂ��g���[�j���O���J�n�����B
�@�u����́A�����܂ł������ł����Č��莖���ł͂Ȃ����A���{�̎��ɏd�v�ɂȂ�s��͉��B�A���ɃC�M���X�ƃh�C�c�ӂ�ł͂Ȃ����ƍl���Ă���B�A�W�A�œ��{�ȊO�ł͂ǂ������̎s��ɂȂ�̂��͕�����Ȃ��B�傫�Ȑl��������傫�Ȏs�ꂪ�������Ƃ��Ă��A���ꂪ���̎s��ɂȂ�Ƃ͌���Ȃ����炾�v�i�J�b�e�B���O���j
�@�܂��J�b�e�B���O���͂���������B�u�����͌ڋq���x���_���b�N�C���̏�Ԃɂ͂������Ȃ��Ƃ����z��������B���̂��߁A���ׂĂ�API�̓I�[�v���\�[�X�Ƃ����`�Ō��J���Ă���B�����͓����Ƀ��j�^�����O�\�t�g�E�F�A�̔̔������Ă��邪�A�����Hadoop�Ƃ͐藣�����r�W�l�X�ƂȂ��Ă���v
�� �v���_�N�g�̔��ł͂Ȃ��A���l�����߂�T�[�r�X���
�@��Cloudera��Hadoop���܂ނ������̃I�[�v���\�[�X�v���_�N�g���܂Ƃ߂��v���b�g�t�H�[���uCDH�iCloudera's Distribution including Apache Hadoop�j�v����Ă���BHadoop�����ۂɊ��p�ł���`�ɂ܂Ƃ߂������v���_�N�g���B�uCDH�v�̂悤�ȃv���_�N�g�����p���邱�ƂŊȒP�Ɍ����̗ǂ����������\�z�ł���Ƃ����B
�@�u�����̃I�[�v���\�[�X�v���_�N�g�ł���CDH�͑����̃��[�U�[�����p���Ă���B�I�[�v���\�[�X�Œ��Ă��邽�ߐ��m�Ȑ��͕�����Ȃ����A���S����ꍇ�ɂ���Ă͐���̃��[�U�[���g���Ă���ƌ�����v�i�J�b�e�B���O���j
�@�u�ǂ̒��x�̌ڋq������̂��́A�Ȃ��Ȃ����`���ł��Ȃ��̂����A�����͌ڋq���������������]�ƈ����ق��Ƃ����N�w�������Ă���B���ł�100�l����]�ƈ����ٗp���Ă���B���{�ł�5���قǂ̏]�ƈ����Ɩ��ɏ]�����Ă���B�]�ƈ������Ȃ��Ɗ����邩������Ȃ����A����͓��{�ɂ�NTT�f�[�^�Ȃǂ̃��Z���[�����łɑ��݂��Ă��邩�炾�v�i�J�b�e�B���O���j
�� ����Hadoop�͑啝�Ƀp�t�H�[�}���X�E�A�b�v
�@���ł�Hadoop�𗘗p���Ă���J���҂�^�p�҂Ƃ��ẮA2012�N�ɓo�ꂷ��Ƃ݂��鎟��Hadoop�łǂ��������ύX������̂����C�ɂȂ�Ƃ��낾�B�J�b�e�B���O���Ɏ���Hadoop�⎟��CDH�Ɋւ�������������Ă�������B
�@�u���N�o�ꂷ�邱�ƂɂȂ�Hadoop�ł͑����̐V�@�\���lj������B�܂��A�wHDFS�iHadoop Distributed File System�j�x�̃p�t�H�[�}���X�����P�����B���ɁA�ǂݍ��݂Ɋւ���p�t�H�[�}���X����������B�ǂݍ��݂��p�ɂɎ��{�����wHBase�x�Ƃ������A�v���P�[�V�����̐��\���オ���҂ł���BHDFS�̂���1�̉��P���l�[���m�[�h�̏璷���ɂ���B����ɂ���ĉp�������シ�邱�ƂɂȂ�v�i�J�b�e�B���O���j
�@�uMapReduce�Ɋւ��ẮA�wMapReduce 2�x�ƌĂ�銮�S�ɏ���������ꂽ���������������BMapReduce 2�ł́A�����̎������g�W���u�̎��s�h�Ɓg�X�P�W���[�����O�h�Ƃ���2�ւ̕��������{����Ă���BMapReduce 2�����邱�ƂŁA1�̃N���X�^��MapReduce�ȊO�̃A���S���Y�������s�ł����悤�ɂȂ�B���̗���O���t�A���S���Y���̏����Ȃǂ��B��̓I�ɂ͑�K�̓O���t��������������wGiraph�x����������邱�ƂɂȂ邾�낤�B�\�[�V�����O���t�ł���Ƃ�Web�y�[�W�̃����N�ł���Ƃ��A������w�O���t�\���x���������邽�߂̂��̂��v�i�J�b�e�B���O���j
�@�u����CDH�Ɋւ��āA�����炭�ł��傫�ȕύX�́wApache Bigtop�x�̗̍p�ɂ���BBigtop����������r���h�܂ł������������@�\�B���̋@�\�𗘗p����CDH�Ɏ��R�ɋ@�\��g�ݍ��߂�悤�ɂ���B������������CDH��Bigtop���g���č\�z����邱�ƂɂȂ�B���炭2012�N�̑O���ɂ͎���CDH�������[�X�ł��邾�낤�B���������z�z���͂��ׂčŐV�łɃA�b�v�f�[�g����邱�ƂɂȂ�v�i�J�b�e�B���O���j
�� Asakusa�t���[�����[�N�A���߂Ēm�������Nj����[����
�@���{�ɂ�����Hadoop�Ƃ����uAsakusa�v�t���[�����[�N���v�������ׂ郆�[�U�[���������낤�B�Ō�ɁA�J�b�e�B���O����Asakusa�t���[�����[�N�ɂ��Ă����˂Ă݂��B
Asakusa Framework�bHadoop�J�����e�ՁA���������I�ɑ����B�E���V�X�e���Y���J��������o�b�`�����t���[�����[�N | �E���V�X�e���Y������� | UL Systems, Inc. via kwout
�@�u���{�ɗ���܂�Asakusa�t���[�����[�N�ɂ��Ēm��Ȃ������̂����A���̐����ԁA�����Ȑl����Asakusa�t���[�����[�N�ɂ��Ęb���ċ����������Ă���B���z���ƂĂ������[���A�����ƒm�肽���Ǝv���Ă���v�i�J�b�e�B���O���j
Hadoop�̃}�X�R�b�g�̊�ɂȂ����Ƃ����A���F���ۂ̂ʂ�����݂������A�Ί�ŎB�e�ɉ����Ă��ꂽ�J�b�e�B���O���B�u������Hadoop�̃T�u�v���W�F�N�g�̒��Ől�C������̂́A�@�B�w�K�^�f�[�^�}�C�j���O�̃��C�u�����wApache Mahout�x���B����Hadoop�ɂ��g�ݍ��܂��v |
�� �֘A�����N
MapReduce��Java����Apache Hadoop���g���Ă݂� ���܍Ē��ڂ̕��U�����Z�p�i��ҁj�@�I�[�v���\�[�X��Hadoop���C���X�g�[�����ăT���v���A�v�������s����܂ł̎菇�◘�_��������AEclipse�v���O�C�����Љ�悤 �uJava
Solution�v�t�H�[���� 2008/9/29 |
�e�L�X�g�}�C�j���O�Ŏn�߂���HHadoop���p Hadoop�Ƃ͉�����������A���ۂ�Hadoop���g���āA��K�̓f�[�^��Ώۂɂ����e�L�X�g�}�C�j���O���s���܂��B�e�L�X�g�}�C�j���O���s���T���v���v���O�����̍쐬��ʂ��āAHadoop�̎g������A�ǂ̂悤�Ɋ��p�ł���̂���������܂� |
���UKey-Value�X�g�A�̖{���uBigtable�v RDB�Ƃ͕ʂ́A�N���E�h����̃f�[�^�x�[�X�Ƃ��Ē��ڂ𗁂тĂ���u���UKey-Value�X�g�A�v�B���̖{���Ƃ�������AGoogle�̐��X�̃T�[�r�X�̊�ՋZ�p�uBigtable�v�ɂ��ēO���� |
�u�N���E�h�Ŏ��v�u�N���E�h�����v Hadoop�ŃX�p������A�č����Z�L�����e�B�g�����h���|�[�g�@RSA Conference 2010�ł̃f�B�X�J�b�V��������Ɂu�N���E�h�Z�L�����e�B�v�̍ŐV���������|�[�g �uSecurity&Trust�v�t�H�[���� 2010/5/11
|
Hadoop�{Hive���؊����\�z���Ă݂� Hive�\�\RDB�g���̂��߂�Hadoop�K�C�h�i�O�j�@Hadoop���SQL���C�N�ȑ��삪�\��DWH�����̃v���_�N�gHive�BRDB�Ɋ��ꂽ�l�ɂ��g���₷���̂ŁA���Ў������� �uDatabase Expert�v�t�H�[���� 2009/2/27 |
�� ���҃v���t�B�[��
�㓡 ��n �I���O�X��\������B��IT�ւ̊�e�AMYCOM�W���[�i���ɂ�����j���[�X���M�̂ق��A�A�v���P�[�V�����J����V�X�e���\�z�A�w�������� FreeBSD�r�M�i�[�Y�o�C�u���x�wD����p�[�t�F�N�g�K�C�h�x�wUNIX�{�i�}�X�^�[�@��b�ҁ`Linux��FreeBSD���g�����Ȃ����߂̑����`�x�Ȃǒ��������B |
Java Solution�S�L���ꗗ |
- ���^�p�̏�Q�Ή����Ԕ�r�Ɍ���A���O�Ǘ���Ղ̌��� �i2017/5/9�j
�@���O��Ղ̍\�z���@�◘�p���@�A���ۂ̈Č��Ŏg�����Ƃ��̎���Ȃǂ��Љ��A�ځB����́A���Č�������Ƃ��A���O�Ǘ���Ղ̗L�p�����A��Q�Ή����Ԕ�r�������ďЉ� - Chatwork�ALINE�ANetflix���i�߂郊�A�N�e�B�u�V�X�e���Ƃ͉��� �i2017/4/27�j
�@�u���A�N�e�B�u�v�Ɋ֘A�������̗p��ɂ��ĉ�����A���A�N�e�B�u�V�X�e�����������邽�߂̃��C�u�������Љ�܂� - Fluentd�{Elasticsearch�{Kibana�ō�郍�O��Ղ̊T�v�ƍ\�z���@ �i2017/4/6�j
�@���O��Ղ���������Fluentd�{Elasticsearch�{Kibana�ɂ��āA�\�z���@�◘�p���@�A���ۂ̈Č��Ŏg�����Ƃ��̎���Ȃǂ��Љ��A�ځB����́A���O��Ղ̍\�z�A���p���@�ɂ��� - �v���O���~���O�ƃr���h�AAndroid�A�v���J���AJava�̊�b�m�� �i2017/4/3�j
�@���S�҂��AJava������g����Android�̃X�}�z�A�v���J����ʂ��ăv���O���~���O�Ƃ͉������w�ԘA�ځB����́A�v���O���~���O�ƃr���h�AAndroid�A�v���J���AJava�Ɋւ����b�m�����������B
|
|