Spark on k8s ã‚’ EKS 上ã§å‹•ã‹ã™ - Gunosyデータ分æžãƒ–ãƒã‚°ã¯ã˜ã‚ã« DRE Team ã® hyamamoto ã§ã™ï¼Ž 皆ã•ã‚“，Spark ã¯åˆ©ç”¨ã•ã‚Œã¦ã„ã¾ã™ã‹ï¼Ÿ Gunosy ã§ã¯ Digdag + Athena ã«ã‚ˆã‚‹ãƒ‡ãƒ¼ã‚¿æ•´å½¢ãŒå¢—ãˆã¦ãã¦ãŠã‚Šï¼Œå¾ã€…ã« Spark ã®åˆ©ç”¨ã¯æ¸›ã£ã¦ãã¦ã„ã¾ã™ï¼Ž æ€ã„è¿”ã™ã¨ï¼Œæ˜¨å¹´å…¥ç¤¾å¾Œã® OJT ã‚‚ Spark ã‹ã‚‰ Digdag + Athena ã¸ã®æ›¸ãæ›ãˆã‚¿ã‚¹ã‚¯ã§ã—ãŸï¼Ž 一方ã§ï¼Œæ±ºã—ã¦å¤šãã¯ãªã„ã‚‚ã®ã®ï¼Œã“ã®æ§‹æˆã§ã¯ã‚«ãƒãƒ¼ã—切れãªã„処ç†ã‚‚ã‚り，ãã†ã„ã£ãŸã‚‚ã®ã«é–¢ã—ã¦ã¯ Spark を用ã„ã¦ã„ã¾ã™ï¼Ž 話ã¯å°‘ã—飛ã³ã¾ã™ãŒï¼ŒDRE Team ã§ã¯ Digdag や派生ã™ã‚‹ãƒãƒƒãƒå‡¦ç†ã‚’実行ã™ã‚‹ãŸã‚ã® Kubernetes Cluster ã‚’ EKS 上ã«æ§‹æˆã—ã¦ã„ã¾ã™ï¼Ž ã¾ãŸï¼Œä¸€éƒ¨ã®ã‚¿ã‚¹ã‚¯ã¯ Kubernetes ã® Job ã¨ã—㦠Digdag ã‹ã‚‰æŠ•ã’ã‚‹ã“ã¨ã§ï¼Œãƒªã‚½ãƒ¼ã‚¹ã‚’スケールã•ã›ã¤ã¤æ§˜ã€…ãªå‡¦ç†ãŒå¯èƒ½ã¨ãªã£ã¦ã„ã¾
AWS News Blog
「Redshiftã¯Hadoopã‚ラーã«ãªã‚‹ã€ã€FlyDataã®è—¤å·æ°ã«èžã
第4回　ビッグデータを迅速ã«å‡¦ç†ã™ã‚‹Amazon Elastic MapReduce
{{#tags}}- {{label}}
{{/tags}}