Luigi+pytestã«ã‚ˆã‚‹ãƒ†ã‚¹ãƒˆå†å®Ÿè¡Œã®åˆ¶å¾¡ - QiitaAdventarã®Python Advent Calendar 2015 25日目ã®è¨˜äº‹ã§ã™ã€‚ ã¯ã˜ã‚㫠本記事ã§ã¯Luigiを用ã„ãŸã‚¸ãƒ§ãƒ–パイプライン構築ã®ç°¡å˜ãªå®Ÿä¾‹ã¨ã—ã¦ã€Pytestã®ãƒ†ã‚¹ãƒˆå†å®Ÿè¡Œã«ã¤ã„ã¦è¨˜è¿°ã™ã‚‹ã€‚ Luigiã¨ã¯ Luigiã¯Python製ã®ã‚¸ãƒ§ãƒ–パイプライン構築ツールã§ã‚る。Luigiを用ã„ã‚‹ã“ã¨ã§ã€ã‚¸ãƒ§ãƒ–パイプライン構築ã«å¿…è¦ãªä»¥ä¸‹ã®äº‹æŸ„ã‚’Pythonコードã§è¡¨ç¾ã™ã‚‹ã“ã¨ãŒã§ãる。 タスクã®å®Ÿè¡Œ タスク間ã®ä¾å˜é–¢ä¿‚ タスク実行çµæžœã®ä¿å˜ Hadoopã‚„Sparkã®ã‚¸ãƒ§ãƒ–実行ã€ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã‹ã‚‰ã®/ã¸ã®ãƒ‡ãƒ¼ã‚¿ãƒãƒ¼ãƒ‰ãªã©ã€ãã‚Œãªã‚Šã«æ™‚é–“ãŒã‹ã‹ã‚‹ã‚¿ã‚¹ã‚¯ã‚’構æˆè¦ç´ ã¨ã—ãŸã‚¸ãƒ§ãƒ–パイプラインã®æ§‹ç¯‰ã‚’メインターゲットã¨ã—ã¦ã„るよã†ã§ã€ãれらã®ãƒ„ールã¨é€£æºã™ã‚‹ãŸã‚ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã¯ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã§ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ã„ã‚‹(http://luigi.readthedocs.org/en/stab
{{#tags}}- {{label}}
{{/tags}}