【python爬虫】动态加载页面的解决办法(以ins为例)

Python 306 2017-11-07 09:48

现在很多的web页面使用ajax技术动态加载页面。但对于爬虫来说,目标数据很可能不在页面HTML源码中(右键查看网页源代码,通过F12查找),针对静态页面的爬虫不再满足现在的需求。

很多教程都推荐用Selenium和PhantomJS配合使用,实现网页的渲染,得到网页的全部信息。但是对于爬虫程序,模拟浏览器内存开销实在是非常大,而且效率低

好消息是,大多是是浏览器会在请求和解析HTML之后,根据js的“指示”再发送一次请求,得到页面展示的内容,然后通过js渲染之后展示到界面。这样的请求往往得到的内容是json格式的,所以我们非但不会加重爬虫的任务,反而可能会省去解析HTML的功夫。

本文以爬取instagram上的某位明星上传的全部图片为例讲解动态加载页面的解决办法。

工具:Chrome

包:json,requests,urllib

分析ins页面

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
某用户的主页

打开某用户ins主页(https://www.instagram.com/urnotchrislee/?hl=zh-cn)可以看到,首页只加载了12张图片,要点击“更多”才会加载更多的图片。我们先获取这12张图片的URL。


获取前12张图片的URL

首先检查源码中是否存在图片的URL。在script标签中发现前12张图片的URL。

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
网页源码

有了这个发现,我们就可以提取首页的12张图片URL!!

代码如下:

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

通过使用lxml库实现解析,不了解lxml的童鞋可以去崔大神的博客 学习学习。

获取更多图片的URL

在点击“更多”按键时,发现XHR选项卡中加载了一些新文件。

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
加载前
【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
加载后

每一次下拉页面都会加载出12张图片,“?query_idbalabala”文件也会增加一个!

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

点击文件查看详细信息。发现该文件返回json数据,并且数据中包含我们要的图片URL!!

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
返回的json数据

所以说只要获取到这些json数据,我们就能提取出更多的图片URL。

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
请求信息
【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
请求信息
【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
请求信息

仔细看上图的Request URL,让我们分析下它的请求参数(包括query_id,id,first,after)可以看到后续加载的query_id都为“17888483320059182”,“id”为你所访问的用户的用户id,为“1161353543”,“first”为一次加载的图片数,始终为12。“after”比较复杂。但是按常理来说,这个参数应该在前面的文件中能够找到。

找“after”

利用ctrl+F在页面源码中找到了after参数对应的值。同样是在script标签中,不过对应的键名是“end_cursor”

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

凑齐了四个请求参数,这下我们可以构造Request URL,通过解析返回的json数据,获取更多的图片URL了!!!

代码如下:

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

src_list中存储了该用户590张图片的URL,现在该进入到下载环节啦~

下载图片

博主懒得换代理,直接用来最简单粗暴的方式下载了图片。

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

结果展示~

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS

参考网页:

Web crawler with Python - 04.另一种抓取方式 

Python之Instagram图片爬虫(一)

Python之Instagram图片爬虫(二) 

新手小白,逻辑混乱,欢迎大佬指正错误,求轻喷

【python爬虫】动态加载页面的解决办法(以ins为例)-JEESNS
文章评论