AWS Fargateã¨Lambdaã§ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼é‹ç”¨ - orangain flavor
ã“ã‚Œã¯Webスクレイピング Advent Calendar 2017ã®7日目ã®è¨˜äº‹ã§ã™ã€‚ã“ã‚“ãªæ„Ÿã˜ã§AWS Fargateã¨AWS Lambdaを使ã£ã¦ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ï¼ˆEC2レス）ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã‚’作りã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯Fargateã§ã®ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°å‡¦ç†ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã—ã¦ãŠã‚Šã€ã‚¯ãƒãƒ¼ãƒ«ã—ãŸHTMLã‚’S3ã«ä¿å˜ã™ã‚‹ã¨ã“ã‚ã¾ã§ã‚’主ã«è§£èª¬ã—ã¾ã™ã€‚Lambdaã®æ–¹ã¯ãŠã¾ã‘程度ã®æ‰±ã„ã§ã€ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸãƒ‡ãƒ¼ã‚¿ã®æ‰±ã„（データベースã¸ã®æ ¼ç´ãªã©ï¼‰ã¯ã‚¹ã‚³ãƒ¼ãƒ—外ã§ã™ã€‚ é•·ããªã£ãŸã®ã§ç›®æ¬¡ã§ã™ã€‚ 背景 AWS Fargateã®ç™»å ´ クãƒãƒ¼ãƒ©ãƒ¼ã®æ§‹æˆ ã‚„ã£ã¦ã¿ã‚‹ 1. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§Spiderを作る 2. Scrapy S3 Pipelineをインストールã™ã‚‹ 3. Scrapy S3 Pipelineをプãƒã‚¸ã‚§ã‚¯ãƒˆã«è¿½åŠ ã™ã‚‹ 4. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’Dockerizeã™ã‚‹ 5. Amazo
Scrapyã®éžåŒæœŸDBパイプライン - Qiita
ã“ã®è¾ºã®æƒ…å ±ãŒãªã•ãã†ã ã£ãŸã®ã§ã€‚ http://shop.oreilly.com/product/9781784399788.do 唯一ã®Scrapy本ã®ã€ŒLearning Scrapyã€æœ¬ã«ã‚ˆã‚‹ã¨ã€ DBパイプラインã¯ä»¥ä¸‹ã®ã‚ˆã†ãªæ„Ÿã˜ã«ã™ã‚‹ã®ãŒã‚ˆã„らã—ã„。 通常ã®åŒæœŸçš„ã«æ›¸ãã¨ãƒ–ãƒãƒƒã‚ングã•ã‚Œã‚‹ã®ã§ã€éžåŒæœŸã§æ›¸ã。 twistedã«DBプーリングã®ä»•çµ„ã¿ãŒæä¾›ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€ãれを使ã†(DBAPI2インタフェースãªã‚‰ã©ã®DBã§ã‚‚よã„） import logging from twisted.enterprise import adbapi from twisted.internet import reactor, defer class DatabaseWriterPipeline(object): @classmethod def from_crawler(cls, crawler)
Scrapy ã§ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸãƒ‡ãƒ¼ã‚¿ã‚’ ORM 㧠RDB ã«ä¿å˜ã™ã‚‹ - Qiita
ã¯ã˜ã‚㫠最近ã®ãŠä»•äº‹ã§ã¯ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã‚’開発ã™ã‚‹ãŸã‚ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã‚ã‚‹ scrapy を使ã£ã¦ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã®é–‹ç™ºã‚’ã—ã¦ã„ã¾ã™ã€‚ ã‹ã¤ã¦è¶£å‘³ã§ã‚¯ãƒãƒ¼ãƒ«ã‚’ã‚„ã£ã¦ã¿ã¦ã„ãŸã¨ã ã¯è‰²ã€…ãªã‚³ãƒžãƒ³ãƒ‰ã‚’組ã¿åˆã‚ã›ã¦ãªã‚“ã¨ã‹ã‚„ã£ã¦ã„ãŸã®ã§ã™ãŒã€ãã‚Œã¨æ¯”ã¹ã‚‹ã¨ scrapy ã¯é¥ã‹ã«å¼·åŠ›ã§ä¾¿åˆ©ãªãƒ•ãƒ¬ãƒ¼ãƒ ワークã ãªã¨æ—¥ã€…実感ã—ã¦ã„ã¾ã™ãƒ»ãƒ»ãƒ»ã€‚ 例ãˆã°ã€ https://blog.scrapinghub.com/ をクãƒãƒ¼ãƒ«ã—ã¦æŠ•ç¨¿ã•ã‚Œã¦ã„る記事ã®ã‚¿ã‚¤ãƒˆãƒ«ã¨URLをページングもã—ãªãŒã‚‰å…¨ã¦å–å¾—ã™ã‚‹å‡¦ç†ã¯ãŸã£ãŸã“ã‚Œã ã‘ã®ã‚³ãƒ¼ãƒ‰ã§æ›¸ã‘ã¾ã™ã€‚ def parse(self, response): for post in response.css('div.post-item'): yield Page( url=post.css('div.post-header h2 a::attr(href)').extract_
Scrapyã§ã‘日記をクãƒãƒ¼ãƒªãƒ³ã‚°ã™ã‚‹ (2. Pipelineã§PostgreSQLã«ä¿å˜ã™ã‚‹) - ã‘日記
å‰å›žã«å¼•ã続ãã€Scrapyを使ã£ã¦ã“ã®æ—¥è¨˜ã®ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ã‚’è¡Œã„ã¾ã™ã€‚ github.com 今回ã¯ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ã§å¾—られãŸå€¤ã‚’ã€ãƒãƒªãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³ã—ã¦PostgreSQLã«ä¿å˜ã™ã‚‹Pipelineを実装ã—ã¾ã™ã€‚Spiderã®å®Ÿè£…ã¯å‰å›žã®æŠ•ç¨¿ã‚‚å‚考ã«ã—ã¦ã¿ã¦ãã ã•ã„。 ohke.hateblo.jp ã“ã¡ã‚‰ã®æ›¸ç±ã‚’å‚考ã«ã—ã¦ã¾ã™ã€‚ Pipeline Scrapyã«ãŠã‘ã‚‹Pipelineã¯ã€SpiderãŒã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°ãƒ»ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸå€¤ã«å¯¾ã—ã¦ã€ãƒãƒªãƒ‡ãƒ¼ã‚·ãƒ§ãƒ³ãƒã‚§ãƒƒã‚¯ã‚„永続化ãªã©ã®å¾Œå‡¦ç†ã‚’è¡Œã†ãŸã‚ã®ä»•çµ„ã¿ã§ã™ã€‚ SpiderãŒå–å¾—ã—ãŸå€¤ã‚’Itemã«è©°ã‚ã¦è¿”ã™ã¨ã€å„ªå…ˆé †ä½ã«å¾“ã£ã¦è¤‡æ•°ã®ã‚¿ã‚¹ã‚¯ãŒå®Ÿè¡Œã•ã‚Œã¾ã™ã€‚ ã“ã“ã§ã¯ä¾‹ã¨ã—ã¦ã€å‰å›žä½œæˆã—ãŸarchive_spiderを使ã„ã€å–å¾—ã—ãŸè¨˜äº‹ã‚¿ã‚¤ãƒˆãƒ«ãƒ»æŠ•ç¨¿æ—¥ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚’ãƒã‚§ãƒƒã‚¯ã™ã‚‹Pipelineã¨ã€PostgreSQLã«ä¿å˜ã™ã‚‹Pipelineを作
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - orangain/serverless-crawler: Sample of server-less crawler using AWS Fargate and Lambda
GitHub - orangain/scrapy-s3pipeline: Scrapy pipeline to store chunked items into Amazon S3 or Google Cloud Storage bucket.
{{#tags}}- {{label}}
{{/tags}}