Hadoopを使ã„ã“ãªã™(1)ã¾ãšã€ 1 ã®å…¥åŠ›ãƒ•ã‚¡ã‚¤ãƒ«ã‚’分割ã™ã‚‹æ–¹æ³•ã¯ã€InputFormatクラスã®ã€getSplits関数を上書ãã™ã‚‹ã“ã¨ã§ã€ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãã¾ã™ã€‚ ã¾ãŸã€ 3 ã®InputSplitã‹ã‚‰ã€Keyã¨Valueを抽出ã™ã‚‹å‡¦ç†ã‚‚ã€InputFormatクラスを通ã˜ã¦ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãã¾ã™ã€‚ InputFormatã®getRecordReader関数を通ã˜ã¦ã€RecordReaderクラスを生æˆã™ã‚‹ã®ã§ã™ãŒã€ã“ã‚Œã«ä»»æ„ã®RecordReaderクラスを指定ã™ã‚Œã°OKã§ã™ã€‚ 2 ã®Map処ç†ã§ã™ãŒã€ãƒ¦ãƒ¼ã‚¶ãŒæŒ‡å®šã—ãŸMapperクラスã®å‡¦ç†ã‚’実行ã—ã¾ã™ã€‚ Mapperクラスã¯ã€MapRunnerクラスを通ã˜ã¦ã€åˆæœŸåŒ–処ç†ã€map関数を繰り返ã™éŽç¨‹ã€çµ‚了処ç†ã¨ã„ã£ãŸä¸€é€£ã®æµã‚Œã‚’実行ã—ã¾ã™ã€‚ MapRunnerクラスをカスタマイズã™ã‚Œã°ã€ã“ã†ã—ãŸæµã‚Œã‚’制御ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ 0.20.0ã‹ã‚‰ã®æ–°ã—ã„MapRed
AmazonクラウドãŒå¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ã®æ©Ÿèƒ½ã‚’強化。SQLライクãªæ¤œç´¢ãŒã§ãã‚‹Hiveã‚’æ載ã¸
blog.katsuma.tv
{{#tags}}- {{label}}
{{/tags}}