本文介绍了简单的Spider和Xpath选择器的使用,通过本文您可以对入门示例代码有进一步的了解.
在Scrapy 入门教程示例中,我们创建了一个demo项目,以网站www.456dev.com 为例创建了一个spider:
通过命令:
scrapy genspider 蜘蛛名称 地址 创建一个spider模型
scrapy genspider dev456 456dev.com
自动生成dev456.py文件.
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spider来说，爬取的循环类似下文: 以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数。 spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL， 并以 parse 为回调函数生成 Request 。 在回调函数内分析返回的(网页)内容，返回 Item 对象、dict、 Request 或者一个包括三者的可迭代容器。 返回的Request对象之后会经过Scrapy处理，下载相应的内容，并调用设置的callback函数(函数可相同)。 在回调函数内，您可以使用 选择器(Selectors) (您也可以使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据分析的数据生成item。 最后，由spider返回的item将被存到数据库(由某些 Item Pipeline 处理)或使用 Feed exports 存入到文件中。
Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。 Spider并没有提供什么特殊的功能。 其仅仅提供了 start_requests() 的默认实现，读取并请求spider属性中的 start_urls, 并根据返回的结果(resulting responses)调用spider的 parse 方法。
name
定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider，所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance)，这没有任何限制。 name是spider最重要的属性，而且是必须的。
如果该spider爬取单个网站(single domain)，一个常见的做法是以该网站(domain)(加或不加 后缀 )来命名spider。 例如，如果spider爬取 mywebsite.com ，该spider通常会被命名为 mywebsite 。
allowed_domains
可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时， 域名不在列表中的URL不会被跟进。
start_urls
URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。 因此，第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取, 示例中修改start_urls为网站的一个栏目地址。
parse(response)当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。
parse负责处理response并返回处理的数据以及(/或)跟进的URL。Spider对其他的Request的回调函数也有相同的要求。该方法及其他的Request回调函数必须返回一个包含
Request、dict 或Item的可迭代的对象。
修改下parse方法, 使用选择器(selector)获取文章标题与地址 :
选择器(Selectors)
"当抓取网页时，你做的最常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的： BeautifulSoup 是在程序员间非常流行的网页分析库，它基于HTML代码的结构来构造一个Python对象， 对不良标记的处理也非常合理，但它有一个缺点：慢。 lxml 是一个基于 ElementTree (不是Python标准库的一部分)的python化的XML解析库(也可以解析HTML)。 Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。 XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。 Scrapy选择器构建于 lxml 库之上，这意味着它们在速度和解析准确性上非常相似。 本页面解释了选择器如何工作，并描述了相应的API。不同于 lxml API的臃肿，该API短小而简洁。这是因为 lxml 库除了用来选择标记化文档外，还可以用到许多任务上。"
由于在response中使用XPath、CSS查询十分普遍，因此，Scrapy提供了两个实用的快捷方式:response.xpath() 及 response.css(), 这里我们使用xpath来解析数据;
借助浏览器插件,获取xpath表达式,标题(text() 为xpath的基础语法 表示取纯文本):
链接的xpath表达式(/@href为xpath基础语法 需要自己补全):
def parse(self, response):
titles = response.xpath("//li/a[contains(@class, 'title')]/text()").extract()
urls = response.xpath("//li/a[contains(@class, 'title')]/@href").extract()
for title, url in zip(titles, urls):
yield {
'title': title,
'url': response.urljoin(url),
}注: response.urljoin(url) 用于补全地址.
