ã¯ã˜ã‚ã¦ã®Apache Spark ï¼Amazon EMRを使ã£ã¦10分ã§è©¦ã—ã¦ã¿ã‚‹ | DevelopersIOã¯ã˜ã‚㫠先日ã€AWSã®EMR(Elastic MapReduce)ã¨ã„ã†ã‚µãƒ¼ãƒ“スを使ã£ã¦Apache Sparkã«åˆã‚ã¦è§¦ã£ã¦ã¿ã¾ã—ãŸã€‚サンプルプãƒã‚°ãƒ©ãƒ を作æˆã™ã‚‹ã¨ã“ã‚ã¾ã§ã®æ‰‹é †ã‚’自分ã§ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚å‰æã¨ã—ã¦S3ã¨EC2ãªã©ã«è§¦ã£ãŸã“ã¨ãŒã‚ã‚Šã€ã‚ーペアやセã‚ュリティグループã¯åˆ†ã‹ã‚‹æ–¹ã‚’対象ã¨ã—ã¦ã„ã¾ã™ã€‚10分ä½ã§è©¦ã›ã‚‹ã‚ˆã†ã«ã—ã¦ã‚ã‚Šã¾ã™ã®ã§ã€Sparkã‚„EMRã«è§¦ã£ãŸã“ã¨ãŒãªã„æ–¹ã¯ãœã²ã‚„ã£ã¦ã¿ã¦ãã ã•ã„。 1.EC2ã®ã‚ーペアを用æ„ã™ã‚‹ EC2インスタンスã«SSHã§æŽ¥ç¶šã™ã‚‹ã®ã§ã‚ーペアãŒãªã„å ´åˆã¯ä½œæˆã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚以下ã®AWSã®ã‚µã‚¤ãƒˆã‚’見ã¦ä½œã£ã¦ãã ã•ã„。ã‚ーペアãŒã™ã§ã«ã‚ã‚‹æ–¹ã¯ã‚¹ã‚ップã—ã¦ã‚‚らã£ã¦çµæ§‹ã§ã™ã€‚ Amazon EC2 ã®ã‚ーペア - Amazon Elastic Compute Cloud 2.サンプルã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’用æ„ã™ã‚‹ 今回ã¯ãƒ†ã‚ストファイルã®ä¸ã«å˜èªžã®å‡º
Spark + IPython環境をAmazon EMR上ã§æ§‹ç¯‰ã—ã€ç°¡å˜ãªData解æžã‚’å‹•ã‹ã—ã¦è¦‹ã‚‹ (第1回：環境構築編) - Qiita
{{#tags}}- {{label}}
{{/tags}}