问题描述:
京东一页数据为30项,但分半加载,即先加载15项,下滑加载后半部分,导致爬取结果仅有15项。
该方法可泛用至任意动态下拉加载类网页。
解决方法:使用selenium + cromedriver的方式设置自动下拉,等待加载完毕后进行爬取即可。
方法步骤:Selenium WebDriver提供了各种语言的编程接口,来进行Web自动化开发。
1.selenium的安装(百度可以找到详细的安装过程)
使用命令:
pip install selenium
安装完成后会出现仍未存在name 为selenium的错误,是因为我们未下载对应的webdriver。
2.下载安装对应版本的浏览器驱动
当然我们是通过各浏览器的驱动程序 来操作浏览器的,所以,还要有各浏览器的驱动程序。我们主要以谷歌的chrome浏览器为例来演示。
chrom浏览器的web driver(chromedriver.exe),可以在下面网址访问:
http://npm.taobao.org/mirrors/chromedriver/
firefox(火狐浏览器)的web driver (geckodriver.exe)在这里访问:
https://github.com/mozilla/geckodriver/releases
其他浏览器驱动可以见下面列表:
Edge:https://developer.microsoft.com/en-us/micrsosft-edage/tools/webdriver
Safari:https://webkit.org/blog/6900/webdriver-support-in-safari-10/
我们使用crome 80.0.3987版本,下载对应驱动,将chromedriver.exe文件放置到python所在安装目录即可。
3.相关解释及例子
driver = webdriver.Chrome('D:Anaconda3envsPythonchromedriver.exe')
执行到这里的时候Selenium会到指定的路径将chrom driver程序运行起来,chrome driver会将浏览器运行起来。成功后会返回一个WebDriver实例对象,通过它的方法,可以控制浏览器,我们可以把它想象成浏览器的遥控器一样。
浏览器运行起来后,通常第一件事情就是打开网址了。一般我们通过控制对象的get方法来控制浏览器打开指定网址
from selenium import webdriver
from lxml import etree
import timeurls = []# 使用selenium模拟人为访问页面,获取数据
def spider_jd(url):# ChromeOptions() 函数中有谷歌浏览器的一些配置options = webdriver.ChromeOptions()# 告诉谷歌这里用的是无头模式options.add_argument('headless')# 创建谷歌浏览器对象driver = webdriver.Chrome('D:Anaconda3envsPythonchromedriver.exe')# 打开谷歌浏览器,进入指定网址的页面driver.get(url)# 模拟下拉页面动作,是动态页面加载driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")# 停顿2.5秒等待页面加载完毕!!!(必须留有页面加载的时间,否则部分浏览器获得的源代码会不完整。)time.sleep(2.5)# 相当于 request.get(url, headers=header)source = driver.page_source# 构造了一个XPath解析对象并对HTML文本进行自动修正。html1 = etree.HTML(source)# 提取hrefhref = html1.xpath('//div[@class="p-img"]/a/@href')# 仅保存前60个值,k值每次循环自增60for hr in href:if hr[:6] != 'https:': # 判断是否为https:开头项,为否则添加https:头urls.append('https:' + hr)urls.append(hr) # https:开头则直接加入列表del urls[k:] driver.close() # 爬取完毕关闭浏览器k = 60for i in range(1, 2):url = 'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&page={}&s=61&click=0'.format((i * 2) - 1)spider_jd(url)k = k + 60print(urls)
print('共爬取{}条数据,爬取完毕关闭浏览器'.format(len(urls)))
备注:爬取时间取决于等待加载time.sleep(2.5)和网速,循环起来花费时间较长。










