AWS Fargateã¨Lambdaã§ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼é‹ç”¨ - orangain flavorã“ã‚Œã¯Webスクレイピング Advent Calendar 2017ã®7日目ã®è¨˜äº‹ã§ã™ã€‚ã“ã‚“ãªæ„Ÿã˜ã§AWS Fargateã¨AWS Lambdaを使ã£ã¦ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ï¼ˆEC2レス）ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã‚’作りã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯Fargateã§ã®ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°å‡¦ç†ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã—ã¦ãŠã‚Šã€ã‚¯ãƒãƒ¼ãƒ«ã—ãŸHTMLã‚’S3ã«ä¿å˜ã™ã‚‹ã¨ã“ã‚ã¾ã§ã‚’主ã«è§£èª¬ã—ã¾ã™ã€‚Lambdaã®æ–¹ã¯ãŠã¾ã‘程度ã®æ‰±ã„ã§ã€ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸãƒ‡ãƒ¼ã‚¿ã®æ‰±ã„（データベースã¸ã®æ ¼ç´ãªã©ï¼‰ã¯ã‚¹ã‚³ãƒ¼ãƒ—外ã§ã™ã€‚ é•·ããªã£ãŸã®ã§ç›®æ¬¡ã§ã™ã€‚ 背景 AWS Fargateã®ç™»å ´ クãƒãƒ¼ãƒ©ãƒ¼ã®æ§‹æˆ ã‚„ã£ã¦ã¿ã‚‹ 1. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§Spiderを作る 2. Scrapy S3 Pipelineをインストールã™ã‚‹ 3. Scrapy S3 Pipelineをプãƒã‚¸ã‚§ã‚¯ãƒˆã«è¿½åŠ ã™ã‚‹ 4. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’Dockerizeã™ã‚‹ 5. Amazo
S3ã®ã‚¢ã‚¯ã‚»ã‚¹ã‚³ãƒ³ãƒˆãƒãƒ¼ãƒ«ãŒå¤šã™ãŽã¦è¨³ãŒè§£ã‚‰ãªã„ã®ã§æ•´ç†ã—ã¦ã¿ã‚‹ | DevelopersIO
{{#tags}}- {{label}}
{{/tags}}