爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据

程序人生 64 2017-11-09 12:47
爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

阅读本篇大概需要 4 分钟。

本来这篇是要接着之前 Python 基础的,但由于基础讲的太多,真的会很累。所以先暂停一两篇关于 Python 基础的分享。这篇分享一些有意思的东西。

今天我在 Github 上创建了一个组织,名叫「SpiderMan

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

这个组织的目的是玩转 Python 爬虫,目前其中有一个项目就是昨天我提到的 “什么值得买” 这个平台的爬虫。

目前有三个读者联系到我了,我初步了解了下有一个是爬虫高手 A,另外两个 B 和 C 是有一定 Python 基础,但在爬虫方面还是初次。不过我对他们都是同样的看待,我们建了一个微信群他们有问题都会抛出来。其次我也会去主动问他们某个知识点是否了解,比如今天要提到的 Scrapy Shell。除了刚才提到的 A 会, B 和 C 对这个只是听到过。所以我就把这个知识点在这里安利下。(当然,有兴趣加入组织的可以在后台或者 Github Issues 里面联系我)

Scrapy Shell 是什么?

你可以把这个理解为 Python 爬虫的一个测试工具。提到爬虫,我们最常见就是提取 HTML 中某个标签下的数据,但在提取之前我们需要找到这个标签位置,这个位置在学术上就是 XPath。

大家都知道 HTML 的页面是 XML 格式的,在 XML 中需要定位到某个标签的话就需要有个路径。所以你就可以把 XPath 理解为 XML 中某个标签的路径,比如从 html 标签到 a 标签的内容。

举个实际的简单例子,我们来找找 “什么值得买” 官网页面的 Logo 所在的 Xpath 路径:

1.在 FireFox 中打开“什么值得买”的官网

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

2.在当前页面点击鼠标右键,并选中 “查看元素”

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

3.选中之后,会展示如下界面,然后选中工具栏的左上角 箭头按钮,选中之后就可以用鼠标点击页面上的任意内容,比如我这里点击 Logo

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

看到图片最底部会出现一个路径,这就是 Logo 在 xml 中的路径。可以看到 html->body......-> img 就是 这个 Logo 的 XPath。其中每个路径主要分为三段,第一段是标签名,第二段 # 后面的是当前标签的 id ,第三段 . 后面的是标签的 class 名。那么这个 XPath 就可以这么写:

爬虫入门:Firefox 结合 Scrapy Shell 爬取网页数据-JEESNS
image

有了这个 Xpath,我们就可以通过写 Python 的代码去拿到这个标签的数据,一般我们会用到 Scrapy 框架来做这件事。这篇文章暂不分享 Scrapy 框架,不了解的可以看

用 Scrapy 从零写一个爬虫。

那么,我们如何在不写代码的情况下去校验这段 XPath 是否能拿到标签数据呢?

这时候我们就需要用到 Scrapy Shell 来测试这个 XPath 路径到底能不能拿到这个 Logo 图片的地址。

命令:

scrapy shell 'url 地址'
➜ /Users/xiyouMc > scrapy shell 'https://www.smzdm.com'>>> response.xpath('/html/body/header[@id="header"]/div[@id="global-search"]/div[@class="search-inner z-clearfix"]/h1[@id="logo"]/a/img/@src')[<Selector xpath='/html/body/header[@id="header"]/div[@id="global-search"]/div[@class="search-inner z-clearfix"]/h1[@id="logo"]/a/img/@src' data=u'https://res.smzdm.com/pc/v1.0/dist/img/a'>]

(看不清的,可以在浏览器打开)

然后我们通过 reponse.xpath() 来拿到这个路径下的标签数据。不过这时候拿到的还是一个 Selector 对象,要拿到准确的数据我们在后面加上 extract()

>>> response.xpath('/html/body/header[@id="header"]/div[@id="global-search"]/div[@class="search-inner z-clearfix"]/h1[@id="logo"]/a/img/@src').extract()[u'https://res.smzdm.com/pc/v1.0/dist/img/activity/17double11/double11gif.gif']>>>

这样我们就通过Scrapy Shell 来拿到了 XPath 的标签数据。当然,这只是爬虫的第一步,不过这也算是爬虫中最关键的一步。

预告下,下周我可能会在某天晚上直播一场从零开始的一个爬虫项目,敬请期待。


有兴趣加入这个组织的可以加我微信 'mcx1469' ,也可以在我的 Github 仓库的 Issues 中提一些,地址:

https://github.com/xiyouMc/SmzdmSpider

文章评论