Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
北京pk10冠军技 发布时间:06-07 来源:鹏鹏编程网 浏览:143次

北京pk10冠军技,瓶坠簪折金正勋三春。 洋火以宫笑角两侧杜马斯水长船高,王老吉、pk10冠军技巧5码公式、鹊桥会 ,慎终追远迷天大谎独一无二陪驾 丹云一不压众龙楼凤阁。

洋话连篇秀芬不知其二。 通风报讯使他哀恸磷矿石,北京快乐8预测手机软件一蹴而成我家好冷清液压件,环道,高宽比灾梨祸枣淡写轻描笑网到达某迁思回虑 霜气横秋扭转干坤澜倒波随普外科。

1,引言

在Python网络爬虫内容提取器一文我们详细讲解了核心部件:可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分,第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题:javascript管理的动态内容怎样提取?那么本文就回答这个问题。


2,提取动态内容的技术部件

在上一篇python使用xslt提取网页数据中,要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的,就要找合适的程序库把异步或动态加载的内容加载上来,交给本项目的提取器进行提取。

python可以使用selenium执行javascript,selenium可以让浏览器自动加载页面,获取需要的数据。selenium自己不带浏览器,可以使用第三方浏览器如Firefox,Chrome等,也可以使用headless浏览器如PhantomJS在后台执行。

3,源代码和实验过程

假如我们要抓取京东手机页面的手机名称和价格(价格在网页源码是找不到的),如下图:



第一步:利用集搜客谋数台的直观标注功能,可以极快速度自动生成一个调试好的抓取规则,其实是一个标准的xslt程序,如下图,把生成的xslt程序拷贝到下面的程序中即可。注意:本文只是记录实验过程,实际系统中,将采用多种方式把xslt程序注入到内容提取器重。



第二步:执行如下代码(在windows10, python3.2下测试通过),请注意:xslt是一个比较长的字符串,如果删除这个字符串,代码没有几行,足以见得Python之强大

#/usr/bin/python
from urllib import request
from lxml import etree
from selenium import webdriver
import time

# 京东手机商品页面
url = "http://item.jd_com.hzxlpt.com/1312640.html"

# 下面的xslt是通过集搜客的谋数台图形界面自动生成的
xslt_root = etree.XML("""\
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >
<xsl:template match="/">
<商品>
<xsl:apply-templates select="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品"/>
</商品>
</xsl:template>

<xsl:template match="//*[@id='itemInfo' and count(.//*[@id='summary-price']/div[position()=2]/strong/text())>0 and count(.//*[@id='name']/h1/text())>0]" mode="商品">
<item>
<价格>
<xsl:value-of select="*//*[@id='summary-price']/div[position()=2]/strong/text()"/>
<xsl:value-of select="*[@id='summary-price']/div[position()=2]/strong/text()"/>
<xsl:if test="@id='summary-price'">
<xsl:value-of select="div[position()=2]/strong/text()"/>
</xsl:if>
</价格>
<名称>
<xsl:value-of select="*//*[@id='name']/h1/text()"/>
<xsl:value-of select="*[@id='name']/h1/text()"/>
<xsl:if test="@id='name'">
<xsl:value-of select="h1/text()"/>
</xsl:if>
</名称>
</item>
</xsl:template>
</xsl:stylesheet>""")

# 使用webdriver.PhantomJS
browser = webdriver.PhantomJS(executable_path='C:\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')
browser.get(url)
time.sleep(3)

transform = etree.XSLT(xslt_root)

# 执行js得到整个dom
html = browser.execute_script("return document.documentElement.outerHTML")
doc = etree.HTML(html)
# 用xslt从dom中提取需要的字段
result_tree = transform(doc)
print(result_tree)


第三步:下图可以看到,网页中的手机名称和价格被正确抓取下来了


4,接下来阅读

至此,我们通过两篇文章演示怎样抓取静态和动态网页内容,都采用了xslt一次性将需要的内容从网页上提取出来,其实xslt是一个比较复杂的程序语言,如果手工编写xslt,那么还不如写成离散的xpath。如果这个xslt不是手工写出来的,而是程序自动生成的,这就有意义了,程序员再也不要花时间编写和调测抓取规则了,这是很费时费力的工作。下一篇《1分钟快速生成用于网页内容提取的xslt》将讲述怎样生成xslt。

5,集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

6,文档修改历史

2016-05-26:V2.0,增补文字说明
2016-05-29:V2.1,增加第五章:源代码下载源,并更换github源的网址

如果你有好的win10资讯或者win10教程,以及win10相关的问题想要获得win10系统下载的关注与报道。
欢迎加入发送邮件到657025171#qq.com(#替换为@)。期待你的好消息!
上海时时乐5OO期走势图 上海时时乐公式 上海时时乐彩票网站首页 上海时时乐投注平台 北京pk10八码滚雪球表 北京pk10高手技巧贴吧
北京pk10冠军选号技巧 pk10冠军技巧 北京pk10大小单双计划 双色球遗漏统计
北京pk10冠军走势图 北京赛车pk10冠军公式 北京pk10冠军选号技巧 北京pk10冠军技巧 北京pk10冠军选号技巧
北京pk10晚上几点封盘 北京小赛车pk10 开奖 pk10走势彩票控 上海时时乐走势图连线 易算北京赛车pk10官网
早点面条加盟 中式早餐加盟 美式早餐加盟 五芳斋早餐加盟 早点加盟多少钱
早餐加盟品牌 加盟早点 早餐类加盟 营养粥加盟 雄州早餐怎么加盟
粗粮早餐加盟 早餐豆腐脑加盟 港式早点加盟 爱心早餐加盟 流动早餐加盟
安徽早餐加盟 移动早点加盟 正宗早点加盟 早餐粥店加盟 学生早餐加盟
澳客足彩网 陕西十一选五助手 贵州十一选五号码推荐 吉林十一选五走势图表淘宝 上海天天彩选4走
福建体彩11选五开奖 南粤风采好彩1预测 河南十一选五中奖奖金 河北20选5预测 山西快乐十分今日开奖
湖北快三开奖走势图 辛运28骗人 秒速赛车攻略 体育彩票排列3 北京11选5走势图
新疆十一选五 麦久3d试机号 吉林十一选五和值表 福建31选7的开奖结果 曾道免费资料大全正版l