当前位置：首页 > 编程日记 > 正文

XPath与多线程爬虫

编程日记 2024-05-14 08:30:00

一. Xpath的介绍与配置

1. XPath是什么

XPath是一门语言

XPath可以在XML文档中查找信息

XPath支持HTML

XPath通过元素和属性进行导航

总结：

XPath可以用来提取信息（和正则表达式类似）

XPath比正则表达式更加厉害

XPath比正则表达式更加的简单

如果你之前用正则表达式进行开发，很多时候，明明感觉自己的匹配是正确的，但是就是找不到自己想要的内容，还有时候就是，网页特别复杂，网页的结构层次也十分复杂，你不知道该如何匹配，当你认真的学习了XPath之后，这些问题就会迎刃而解。

2. 如何安装使用XPath

XPath属于lxml库，所以首先我们需要安装这个库，这个库的具体安装步骤我已经写在我的博客里面了大家可自行翻阅。

安装好之后我们将使用from lxml import etree和Selector = etree.HTML(网页源代码)和Selector.xpath(一段神奇的代码)

二. 神器XPath的使用

1. XPath与HTML结构

HTML是树状结构，他可以逐层展开，我们利用这一特点结合XPath就可逐层定位

下面请看一个小的页面，我们接下来的测试用例会讲到这个页面。

用chrome打开这个网页，然后打开检查，如下界面(这里我把全部的信息显示出来，便于分析检查)

2. 获取网页元素的XPath

手动分析法

这里我们分析一下，如果我们需要找到“这是第一条信息”我们通过下面的方式去查找

html->body->div->ul[@useful]->li

补充说明：上面的这段内容肯定不是XPath的代码，这里只是一种形象的表示方法。大家查看上图可以发现ul标签有两个内容，这里我们选择的是id等于useful的标签，所以上面的形象查找部分是ul[@useful],另外就是这里我想要查找的是“这是第一条信息”但是我上面的只有li，大家很容易就明白了，这里返回的应该是一个列表，列表的内容包括了三条信息，“这是第一条信息，这是第二条信息，这是第三条信息”

Chrome分析法

手动分析法，在结构比较复杂的网页中分析起来还是比较麻烦，这里我们可以使用chrome分析法，准确快速的定位。我们右击页面，点击检查，或者审查元素，弹出他的代码结构，然后在我们感兴趣的内容对应的代码上面右击，选择Copy，然后选择Copy XPath，把它复制下来，我把刚刚那段感兴趣的内容粘贴下来，大家和上面的手动分析比较一下

//*[@id="useful"]/li[1]

是不是和咱们手动分析的内容有几分类似呢。分析一下chrome给我们的代码，这里有一个*号，而我们手动分析的代码是html，body…这是因为id=useful的这个id只有一个内容，所以我们这里用*进行了省略，如果我们在其他的标签下面也有id=useful这样的内容，是需要像我们手动分析的那样的类似的内容的。代码中li[1]就表示我们的列表里面的第一段内容了，这里就不会出现我们手动分析中的把三段内容都抓取下来的结果了。

3. 应用XPath提取内容

//定位根节点

/往下层寻找

提取文本内容：/text()

提取属性内容：/@xxxx (xxxx是属性的名字)

下面就是代码部分，具体部分的讲解内容和XPath的使用，我已经注释到代码部分了，大家可以仔细阅读：

#-*-coding:utf8-*-
from lxml import etree  #导入etree
#下面是一个多行字符串，实际就是一个小网页的源代码
html = '''
<!DOCTYPE html>
<html>
<head lang="en"><meta charset="UTF-8"><title>测试-常规用法</title>
</head>
<body>
<div id="content"><ul id="useful"><li>这是第一条信息</li><li>这是第二条信息</li><li>这是第三条信息</li></ul><ul id="useless"><li>不需要的信息1</li><li>不需要的信息2</li><li>不需要的信息3</li></ul><div id="url"><a href="http://jikexueyuan.com">极客学院</a><a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a></div>
</div></body>
</html>
'''selector = etree.HTML(html)  #使用etree将多行字符串转化成XPath可以识别的对象，然后传递给selector#提取文本
#运行的结果是打印出了“这是第一条信息，这是第二条信息，这是第三条信息”#运用XPath中的/text()获取标签li里面的内容，其中id="useful"，限定了ul，而不是所有的ul
#这里如果我们把限定条件给去掉，下一句的代码变成了content = selector.xpath('//ul/li/text()')
#则打印的结果是“这是第一条信息，这是第二条信息，这是第三条信息，不需要的信息1，不需要的信息2，不需要的信息3”
#因为这里的ul[@id="useful"]是独一无二的，我们不必担心，当然，如果我们想保险一点的话，还可以在ul的前面，加上他的上一层标签
#//div/ul[@id="useful"]/li/text()我们还可以在div的后面添加代码变成div[@id="content"]
content = selector.xpath('//ul[@id="useful"]/li/text()')
for each in content:print each#提取属性,下面代码的运行结果是打印出上面网页代码中的两个链接
#这里就使用了上文所讲的方式，提取属性内容：/@xxxx      (xxxx是属性的名字)
#这里的网页比较简单，当我们做其他的操作时，肯定不能像这个一样，我们就可以像上文一样给它加限定比如下面的代码
#//div[@id="url"]/a/@href
link = selector.xpath('//a/@href')
for each in link:print each#下面这段代码的结果是提取“极客学院课程库”这些内容，大家可以尝试一下
title = selector.xpath('//a/@title')
print title[0]

下文的截图是代码运行的结果

三. 神奇XPath的特殊用法

1. 以相同的字符开头的情况

starts-with(@属性名字,属性字符相同部分)

2. 标签套标签

string(.)

下面是代码详解

#-*-coding:utf8-*-
from lxml import etree#首先将一下下面代码的困难之处，在html1中的body标签下的div标签里面，有三个id，且三个id不同
#这就是我们需要处理的第一类问题，以相同的字符开头的情况
html1 = '''
<!DOCTYPE html>
<html>
<head lang="en"><meta charset="UTF-8"><title></title>
</head>
<body><div id="test-1">需要的内容1</div><div id="test-2">需要的内容2</div><div id="testfault">需要的内容3</div>
</body>
</html>
'''#在接下来的html2中出现标签套标签
html2 = '''
<!DOCTYPE html>
<html>
<head lang="en"><meta charset="UTF-8"><title></title>
</head>
<body><div id="test3">我左青龙，<span id="tiger">右白虎，<ul>上朱雀，<li>下玄武。</li></ul>老牛在当中，</span>龙头在胸口。</div>
</body>
</html>
'''selector1 = etree.HTML(html1)
#下面代码里面//div[starts-with(@id,"test")]/text()'注意讲到的一个新用法，这里的意思是，标签id中以“test”开头的所有标签都会被提取出来
#运行的结果是“需要的内容1，需要的内容2，需要的内容3”
content1 = selector1.xpath('//div[starts-with(@id,"test")]/text()')
for each in content1:print each#下面的代码是标签套标签的错误使用，就是我们利用上一章节的使用方法
#直接提取div[@id="test3"]，运行的结果是只能提取div里面的内容，而div里面嵌套的标签的内容无法提取
#运行的结果是“我左青龙  龙头在胸口”，这显然不是我们想要的内容
selector2 = etree.HTML(html2)
content_2 = selector2.xpath('//div[@id="test3"]/text()')
for each in content_2:print each#下面的内容就是我们提取的完整的内容
#我们这里的思想还是先大后小的思想，我们先提取div下面的所有的内容
#然后直接使用info = data.xpath('string(.)')，但是注意的是这一句执行的结果会把换行，空格都给提取出来
#所以我们需要使用替换，把换行符合空格符全部替换掉
#运行的结果是我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口。
selector3 = etree.HTML(html2)
data = selector3.xpath('//div[@id="test3"]')[0]
info = data.xpath('string(.)')
content_3 = info.replace('\n','').replace(' ','')
print content_3

四. Python并行化介绍与演示

1. 并行化简单理解

这里可以理解为Python的多线程(这里的多线程不是真正的多线程)

多个线程同时处理任务，提高效率，具有高效和快速的特点

2. map使用实现爬虫并行化

map函数包括序列操作，参数传递和结果保存等一系列操作

使用map函数时需要导入Pool这个类，使用代码：

from multiprocessing.dummy import Pool

根据自己的计算机核数的不同，下面的代码使用的数字有改动：

pool = Pool(4)

接着使用result = pool.map(爬取函数,网址列表)

下面是代码详解：

#-*-coding:utf8-*-#导入map所在的Pool这个类，然后重新命名为ThreadPool
#导入requests抓取网页源代码
#导入time计算时间，比较单线程和多线程的时间
from multiprocessing.dummy import Pool as ThreadPool
import requests
import time#定义了一个函数，其作用是获取传入的URL的源代码
def getsource(url):html = requests.get(url)urls = []#下面的这些代码生成20行网址，这里range函数使用头但是不使用尾，所以这里传入的是21
for i in range(1,21):newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)urls.append(newpage)  #将这二十个网址全部添加到urls这个列表里面time1 = time.time()  #该语句的作用是记下程序运行到这一步的时间
for i in urls:print igetsource(i)
time2 = time.time()  #记下时间2
print u'单线程耗时：' + str(time2-time1)  #两个时间相减就是上面这段代码执行完的总时间#使用Python的并行化操作
pool = ThreadPool(4)  #初始化一个实例
time3 = time.time()
results = pool.map(getsource, urls)  #使用getsource和map函数进行爬取
#map的作用就是并行的处理getsource这个函数，然后传入的是urls的内容
pool.close()
pool.join()
time4 = time.time()
print u'并行耗时：' + str(time4-time3)#运行结果是单线程爬虫比多线程爬虫的时间要长的多#这里map只是做一个了解，以后还会讲到scrypy

五. 实战—百度贴吧爬虫

目标网站：http://tieba.baidu.com/p/3522395718

目标内容：跟帖用户名，跟帖内容，跟帖时间

涉及知识：

requests爬取网页源代码

XPath提取内容

map实现多线程爬虫

请看代码分析：(这之前你得熟悉想要找的内容，这里建议大家使用chrome的检查或者审查元素功能)

#-*-coding:utf8-*-
from lxml import etree #需要使用XPath的etree
from multiprocessing.dummy import Pool as ThreadPool   #使用多线程爬虫
import requests   #抓取网页的源代码
import json   #这里导入了json的库，是因为源代码中有一部分是用json保存的，这里以后会说到
import sysreload(sys)sys.setdefaultencoding('utf-8')  #上面三行代码的作用是使内容强制转化成utf-8，不然会出现乱码'''重新运行之前请删除content.txt，因为文件操作使用追加方式，会导致内容太多。'''#定义了一个函数，将内容写入文本中
def towrite(contentdict):f.writelines(u'回帖时间:' + str(contentdict['topic_reply_time']) + '\n')f.writelines(u'回帖内容:' + unicode(contentdict['topic_reply_content']) + '\n')f.writelines(u'回帖人:' + contentdict['user_name'] + '\n\n')#爬虫函数
def spider(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}html = requests.get(url,headers = headers)   #获取网页源代码#print htmlselector = etree.HTML(html.text)  #将其转化成可以使用XPath处理的对象content_field = selector.xpath('//div[@class="l_post l_post_bright "]') #获取一整个div，这里使用了先抓大后抓小的技巧item = {}  #定义了一个字典for each in content_field:reply_info = json.loads(each.xpath('@data-field')[0].replace('"','')) #再次使用XPath，抓取每一个回帖里面的评论内容#其中还使用了替换和json.loads，将json的内容转换成字典格式author = reply_info['author']['user_name']  #使用字典的形式将作者的信息进行存储#下面的代码获取所有评论信息content = each.xpath('div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content "]/text()')[0]reply_time = reply_info['content']['date']print content  #将获取的信息打印出来print reply_timeprint authoritem['user_name'] = author#将信息传入到字典里面item['topic_reply_content'] = contentitem['topic_reply_time'] = reply_timetowrite(item)if __name__ == '__main__':pool = ThreadPool(4)   #此处是为了实现多线程爬虫，提高效率f = open('content.txt','a')  #打开一个文件#生成20个网页链接，将其保存在一个列表中page = []for i in range(1,5):newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)page.append(newpage)print page# results = spider('http://tieba.baidu.com/p/3522395718?pn=1')results = pool.map(spider, page)  #使用并行技术将其爬取下来pool.close()pool.join()f.close()

(上文的代码可能因为网页的变动，使得有些代码不能测试，大家可以根据上文修改)

https://www.dkcj.cn/info/6181.html

XPath与多线程爬虫

相关文章：

html无序列表空心圆_列表样式的使用CSS入门基础（018）

2013年3月百度之星B题

TCP/IP 10.1集成IS-IS协议

运维基础-文件权限管理

android帧动画实现方法之一

python技术晨讲_python系列教程14

三字母词和转义字符

写了个Python脚本监控nginx进程

Linux shell 脚本报错：/bin/bash^M: bad interpreter: No such file or directory

C语言volatile关键字详解

python储存数据的容器_Python基础四容器类数据

Android 清单文件详解

android屏幕分辨率详解 ldpi mdpi hdpi 程序UI自适应《官方翻译》

010 并发的三个特性

LeetCode: Longest Consecutive Sequence

python做测试书籍推荐_学习pytest应该观看的书籍？

路由器、路由与路由表

Hadoop虚拟机的jdk版本和本地eclipse的版本不一致怎么办

操作符和表达式

kuayu react_react跨域解决方案

HDU 1429 胜利大逃亡(续) (BFS+位压缩)

Ext fucionchart插件

前端 ----jQuery的动画效果

结构和联合--结构体内存和位段内存开辟规则

antd自定义分页器_自定义分页器

.net实现跨页面传值

进程的同步、互斥以及PV原语

ListT中，Remove和RemoveAt区别

vue 如何处理两个组件异步问题_Vue动态异步组件实现思路及其问题

[转载] 七龙珠第一部——第004话掳人的妖怪——乌龙