ビッグデータå–り扱ã„ã®æŠ€è¡“â‘¡ ~解æžç·¨~ | hitokuse blog今回ã¯åŽé›†ã—ãŸãƒ‡ãƒ¼ã‚¿ã‚’ã©ã†è§£æžã—ã¦ã„ãã‹æ›¸ã„ã¦ã„ãã¾ã™ã€‚ 解æžã«ã¯Hadoopを利用ã—ã¾ã™ã€‚ Hadoopã®å‹•ä½œç’°å¢ƒã¯Amazon EMR (Elastic MapReduce)を使ã„ã¾ã™ã€‚ ã€å‰å›žã®æµã‚Œã€‘ fluentdã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« td-loggerã§ã‚¢ãƒ—リケーションãƒã‚°ã®åã出㗠td-loggerã§å—ã‘å–ã£ãŸãƒã‚°ã‚’S3ã«é€ä¿¡ S3ã®ãƒ‡ãƒ¼ã‚¿ã‚’Hadoopã§è§£æž Hadoopã§è§£æžã—ãŸãƒ‡ãƒ¼ã‚¿ã‚’RDSã«çªã£è¾¼ã‚€ ※å‰å›žã®è¨˜äº‹ã¯ã“ã¡ã‚‰ æ ªå¼ä¼šç¤¾ãƒ’トクセ公å¼ãƒ–ãƒã‚°ã€Œãƒ“ッグデータå–扱ã„ã®æŠ€è¡“â‘ ~åŽé›†ç·¨ã€ 今回ã¯å‰å›žã®ç¶šãã¨ã„ã†ã“ã¨ã§ã€S3ã®ãƒ‡ãƒ¼ã‚¿ã‚’Hadoopã§è§£æžã‹ã‚‰è§£èª¬ã—ã¾ã™ã€‚ Hadoopã®å‡¦ç†ã¯SQLライクã«æ›¸ã‘ã‚‹Hiveを利用ã—ã¾ã™ã€‚ S3ã®ãƒ‡ãƒ¼ã‚¿ã‚’Hadoopã§è§£æž 先程も書ãã¾ã—ãŸãŒã€EMRを利用ã—ã¾ã™ã€‚ 基本的ã«ã¯ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ã®ã¿ã§ã‚„ã£ã¦ã„ãã¾ã™ã€‚ ãªã®ã§ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ãƒ„
Sparkを用ã„ãŸãƒ’ã‚™ãƒƒã‚¯ã‚™ãƒ†ã‚™ãƒ¼ã‚¿è§£æž ã€œ å‰ç·¨ 〜
連載: IBM Watson Workspace #鬼ã‚㋠アプリケーション開発: 第 7 回: IBM Watson Workspace 㧠AI を利用ã—ãŸã‚¢ãƒ—リ連æºã®å®Ÿç¾ #鬼ã‚㋠解説（å‰ç·¨ï¼‰
{{#tags}}- {{label}}
{{/tags}}