scrapy - parsing items that are paginated
I have a url of the form: example.com/foo/bar/page_1.html There are a total of 53 pages, each one of them has ~20 rows. I basically want to get all the rows from all the pages, i.e. ~53*20 items. I have working code in my parse method, that parses a single page, and also goes one page deeper per item, to get more info about the item: def parse(self, response): hxs = HtmlXPathSelector(response) res
scrapy ページãƒãƒ¼ãƒˆå½¢å¼ã®ãƒªã‚½ãƒ¼ã‚¹ã‚’ãƒšãƒ¼ã‚¸é †ã€…ã«ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã™ã‚‹ - ç¾å ´ãƒã‚°
レコード一覧をページãƒãƒ¼ãƒˆã§è¡¨ç¾ã—ãŸãƒªã‚½ãƒ¼ã‚¹ãŒã‚ã‚‹ã¨ã™ã‚‹ã€‚ ページ毎ã«å›ºæœ‰ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ page number is {page number} ãŒå˜åœ¨ã™ã‚‹ã®ã§ã€ 全ページ分ãã®å–得を試ã¿ã‚‹ã€‚ リソースã®æƒ³å®šå›³ ページ毎㫠page number is {page number} ãŒå˜åœ¨ã™ã‚‹ ページãƒãƒ¼ãƒˆãŒè¨ç½®ã•ã‚Œã¦ã„ã¦ã€ç•ªå·ã‚’クリックã™ã‚Œã°ãã®ãƒšãƒ¼ã‚¸ã«é·ç§»ã™ã‚‹ ç¾åœ¨ã®ãƒšãƒ¼ã‚¸ã«å¯¾ã—ã¦ã€Œæ¬¡ã®ãƒšãƒ¼ã‚¸ã€ã‚’示ã™å±žæ€§(ex. rel="next") ãŒå˜åœ¨ã™ã‚‹ 探索方法(概念図) å˜æ–¹å‘ã«ãƒªã‚½ãƒ¼ã‚¹ã‚’探索ã™ã‚‹ã€‚探索ãŒçµ‚ã‚ã£ãŸã‚‰(= ページ終点ã«ãŸã©ã‚Šç€ã„ãŸã‚‰)クãƒãƒ¼ãƒ«ã‚’æ¢ã‚る。 探索方法(ソース) main.py import scrapy class Spider(scrapy.Spider): start_urls = ['http://localhost:3000/seeds'] # ページãƒãƒ¼ãƒˆ
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}