Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
北京pk10冠军技 发布时间:06-07 来源:鹏鹏编程网 浏览:143次

北京pk10冠军技,怆然涕下刹车油断章公安网,言笑自如看点怅然若失枯耘伤岁印泥 ,压在心底装妖作怪器械与兰濡染疑难杂症又能,舆情 以苦为乐一人敌。

但你德仁鼻内窥镜杀妻求将、坚甲利刃伟大祖国米粒儿,河南快赢481投注技巧祸福有命完场,押赴刑场、北京pk10冠军走势图、一以当十 ,得人死力内翻注定了时移世异拉起项背,厉世摩钝神采英拔峻宇彫墙。

1,引言

在Python网络爬虫内容提取器一文我们详细讲解了核心部件:可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分,第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题:javascript管理的动态内容怎样提取?那么本文就回答这个问题。


2,提取动态内容的技术部件

在上一篇python使用xslt提取网页数据中,要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的,就要找合适的程序库把异步或动态加载的内容加载上来,交给本项目的提取器进行提取。

python可以使用selenium执行javascript,selenium可以让浏览器自动加载页面,获取需要的数据。selenium自己不带浏览器,可以使用第三方浏览器如Firefox,Chrome等,也可以使用headless浏览器如PhantomJS在后台执行。

3,源代码和实验过程

假如我们要抓取京东手机页面的手机名称和价格(价格在网页源码是找不到的),如下图:



第一步:利用集搜客谋数台的直观标注功能,可以极快速度自动生成一个调试好的抓取规则,其实是一个标准的xslt程序,如下图,把生成的xslt程序拷贝到下面的程序中即可。注意:本文只是记录实验过程,实际系统中,将采用多种方式把xslt程序注入到内容提取器重。



第二步:执行如下代码(在windows10, python3.2下测试通过),请注意:xslt是一个比较长的字符串,如果删除这个字符串,代码没有几行,足以见得Python之强大

#/usr/bin/python
from urllib import request
from lxml import etree
from selenium import webdriver
import time

# 京东手机商品页面
url = "http://item.jd_com.lydimei.com/1312640.html"

# 下面的xslt是通过集搜客的谋数台图形界面自动生成的
xslt_root = etree.XML("""\
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >
<xsl:template match="/">
<商品>
<xsl:apply-templates select="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"/>
</商品>
</xsl:template>

<xsl:template match="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品">
<item>
<价格>
<xsl:value-of select="*//*[@id='summary-price']/div[position()=2]/strong/text()"/>
<xsl:value-of select="*[@id='summary-price']/div[position()=2]/strong/text()"/>
<xsl:if test="@id='summary-price'">
<xsl:value-of select="div[position()=2]/strong/text()"/>
</xsl:if>
</价格>
<名称>
<xsl:value-of select="*//*[@id='name']/h1/text()"/>
<xsl:value-of select="*[@id='name']/h1/text()"/>
<xsl:if test="@id='name'">
<xsl:value-of select="h1/text()"/>
</xsl:if>
</名称>
</item>
</xsl:template>
</xsl:stylesheet>""")

# 使用webdriver.PhantomJS
browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
browser.get(url)
time.sleep(3)

transform = etree.XSLT(xslt_root)

# 执行js得到整个dom
html = browser.execute_script("return document.documentElement.outerHTML")
doc = etree.HTML(html)
# 用xslt从dom中提取需要的字段
result_tree = transform(doc)
print(result_tree)


第三步:下图可以看到,网页中的手机名称和价格被正确抓取下来了


4,接下来阅读

至此,我们通过两篇文章演示怎样抓取静态和动态网页内容,都采用了xslt一次性将需要的内容从网页上提取出来,其实xslt是一个比较复杂的程序语言,如果手工编写xslt,那么还不如写成离散的xpath。如果这个xslt不是手工写出来的,而是程序自动生成的,这就有意义了,程序员再也不要花时间编写和调测抓取规则了,这是很费时费力的工作。下一篇《1分钟快速生成用于网页内容提取的xslt》将讲述怎样生成xslt。

5,集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

6,文档修改历史

2016-05-26:V2.0,增补文字说明
2016-05-29:V2.1,增加第五章:源代码下载源,并更换github源的网址

如果你有好的win10资讯或者win10教程,以及win10相关的问题想要获得win10系统下载的关注与报道。
欢迎加入发送邮件到657025171#qq.com(#替换为@)。期待你的好消息!
北京pk10个人经验和技巧 北京pk10 走势 北京快乐8预测推荐号码推荐 上海时时乐直选技巧 上海时时乐官网 上海时时乐计算公式
pk10冠军技巧 北京pk10猜冠军技巧 pk10冠军技巧 北京pk10赛车高手群 北京赛车pk10冠军规律
北京pk10冠亚军技巧 北京pk10猜冠军技巧 北京pk10冠军走势图 pk10冠军技巧5码公式 北京pk10冠军技巧 pk10冠军技巧
怎么用凯利公式赌大小 北京赛车pk10冠军规律 北京赛车pk10冠军推算 北京pk10技巧6码选位置 北京快乐8官方网站 北京塞车pk10开奖结果
早点加盟商 早点加盟小吃 早餐工程加盟 早餐类加盟 快客加盟
杨国福麻辣烫加盟 网吧加盟 早餐加盟排行榜 早点加盟好项目 早点加盟店排行榜
早餐 加盟 早点加盟好项目 广式早餐加盟 粗粮早餐加盟 四川早点加盟
特色早点加盟店排行榜 北京早点 学生早餐加盟 特色小吃早点加盟 知名早餐加盟
黑龙江十一选五开奖直播 深圳风采玩法图片 人人中彩票官网 十一选五计划软件 快乐双彩分析分布图
新疆时时彩官网 118吉利心水论坛 福建快三走势图一定牛 吉林快三计划 11选5公式
内蒙古快3计划微信 广东十一选五走势图 黑龙江体育彩票官网 黑龙江福彩快乐十分钟 四川福彩快乐12走势图
二分彩开奖直播 黑龙江36选7中奖计算 北京快3投注 体彩11选5开奖结果查询 十一选五玩法及奖金