普通ã®PythonスクリプトをSpark化ã—ã¦ãŠæ‰‹è»½ä¸¦åˆ—処ç†ã™ã‚‹ #spark - ã‚¯ãƒªã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ãƒ©ã‚¤ãƒ³æ ªå¼ä¼šç¤¾ã“ã‚“ã«ã¡ã¯ã€‚木内ã§ã™ã€‚ Apache Sparkã¯ã„ã‚ゆる「スケーラブルãªæ±Žç”¨åˆ†æ•£å‡¦ç†ã‚¨ãƒ³ã‚¸ãƒ³ã€ãªã®ã§ã™ãŒã€å®Ÿéš›ã«ã¯ãƒ¦ãƒ¼ã‚¶ã®åˆ©ç”¨å½¢æ…‹ã¯SQLã«é–¢ã™ã‚‹å‡¦ç†ã‚„ã€æ©Ÿæ¢°å¦ç¿’ãªã©ã®ãƒ‡ãƒ¼ã‚¿åˆ†æžé–¢é€£ã«åã£ã¦ã„るよã†ã«æ€ãˆã¾ã™ã€‚"汎用"ã¨ã„ã†ã‹ã‚‰ã«ã¯ãƒ‡ãƒ¼ã‚¿åˆ†æžã«é™ã‚‰ãšãŠãŠã‚ˆã並列処ç†ã§ãるよã†ãªãƒ¦ãƒ¼ã‚¹ã‚±ãƒ¼ã‚¹ã«ã‚‚使用ã§ãる㨠Apache Spark ã®ç”¨é€”ã®å¹…ãŒåºƒãŒã‚‹ã®ã§ã¯ãªã„ã‹ãªã¨æ€ã„ã¾ã™ã€‚ ãã“ã§ä»Šå›žã¯ãƒ‡ãƒ¼ã‚¿åˆ†æžã¨ã¯å…¨ã関係ã®ãªã„よã†ãªå‡¦ç†ã‚’Apache Sparkã§ä¸¦åˆ—化ã—ã¦ã¿ã¾ã™ã€‚ ãã‚‚ãã‚‚ã©ã‚“ãªã¨ã“ã‚ã§ä¸¦åˆ—処ç†ã¯ä½¿ç”¨ã•ã‚Œã¦ã„ã‚‹ã®ã‹ 一般的ã«ä¸¦åˆ—処ç†ãŒä½¿ç”¨ã•ã‚Œã¦ã„ã‚‹ã®ã¯ã„ã‚ゆるスパコンã®åˆ†é‡Žã§ã™ã€‚ç§ã¯ã‚¹ãƒ‘コンã®ã“ã¨ã¯ã‚ˆãã‚ã‹ã‚‰ãªã„ã®ã§ã™ãŒã€ç·šå½¢ä»£æ•°ã€æ•°å€¤è§£æžã¨ã„ã£ãŸç”¨é€”ã«åˆ©ç”¨ã•ã‚Œã¦ã„るよã†ã§ã™ã€‚例ãˆã° Abaqus ã¨ã„ã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¯æœ‰é™è¦ç´ 解æžã‚’è¡Œã†ã“ã¨ãŒã§ãるソフトウェアã§ã™ãŒã€å¿œç”¨åˆ†é‡Žã¨ã—
分散処ç†ã«å…¥é–€ã—ã¦ã¿ãŸï¼ˆHadoop + Spark） | Casley Deep Innovationsæ ªå¼ä¼šç¤¾ 技術ブãƒã‚°
{{#tags}}- {{label}}
{{/tags}}