SparkInternalsã§çŸ¥ã‚‹ã€Sparkã®å†…éƒ¨æ§‹é€ æ¦‚è¦ï¼ˆArchitecture） - Qiitaã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯ã€‚ å‰å›žã«å¼•ã続ãã€SparkInternalsを訳ã—ã¦ã„ãã¾ã™ã€‚ å‰å›žã¨åŒã˜ã以後ã¯ä¸‹è¨˜ã®åˆ¤ä¾‹ã¨ãªã‚Šã¾ã™ã€‚ SparkInternals訳文 コメント SparkInternals Architecture æ—¢ã«3ç« ã§Sparkジョブã«ã¤ã„ã¦è¨˜è¿°ã—ã¦ã„ã‚‹ãŒã€æœ¬ç« ã§ã¯å…¨ä½“ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã¨ã€Masterã€Workerã€Driverã€Executorã¨ã„ã£ãŸè¦ç´ ãŒå¦‚何ã«å”調ã—ã¦ã‚¸ãƒ§ãƒ–を終了ã•ã›ã‚‹ã‹ã«ã¤ã„ã¦è¨˜è¿°ã™ã‚‹ã€‚ 図を用ã„ã¦ç†è§£ã—ãŸã„å ´åˆã¯ã‚³ãƒ¼ãƒ‰ã®éƒ¨åˆ†ã¯èªã¿é£›ã°ã—ã¦ã‚‚らã£ã¦æ§‹ã‚ãªã„。 Deployment diagram 概è¦ç« ã«ã¦ã€ä¸‹è¨˜ã®å›³ã‚’用ã„ã¦æ¦‚è¦èª¬æ˜Žã‚’è¡Œã£ãŸã€‚ 次ã¯ã“ã®å›³ã®è©³ç´°ã«ã¤ã„ã¦ã¿ã¦ã„ã。 Job submission ã“ã®å›³ã¯ã©ã®ã‚ˆã†ã«Masterノード上ã«å˜åœ¨ã™ã‚‹Driverプãƒã‚°ãƒ©ãƒ ãŒã‚¸ãƒ§ãƒ–を生æˆã—ã€Workerノードã«ç™»éŒ²ã™ã‚‹ã‹ã‚’示ã—ã¦ã„る。 Dr
知れã°å¤©å›½ã€çŸ¥ã‚‰ãã°åœ°ç„――「探索ã€è™Žã®å·»
HDFS Erasure Codingã®ç´¹ä»‹ã¨Yahoo! JAPANã«ãŠã‘ã‚‹é‹ç”¨äº‹ä¾‹
Cloudera Blog
{{#tags}}- {{label}}
{{/tags}}