1、xpath的基本使用
创建一个简单的HTML：
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>Title</title>
</head>
<body><ul><li>北京</li><li>上海</li><li>深圳</li><li>武汉</li></ul>
<ul><li>大连</li><li>锦州</li><li>沈阳</li>
</ul>
</body>
</html>创建一个python文件：
如果解析本地文件使用etree.parse
如果解析服务器响应文件使用etree.HTML()
from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)运行：
会报错
lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 4 and head, line 6, column 8
原因是 xpath 严格遵守HTML规范
解决方法：
在meta标签中加入 /
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"/><title>Title</title>
</head>
<body><ul><li>北京</li><li>上海</li><li>深圳</li><li>武汉</li></ul>
<ul><li>大连</li><li>锦州</li><li>沈阳</li>
</ul>
</body>
</html>再次运行：
xpath基本语法：
1. 路径查询
// ：查找所有子孙节点，不考虑层级关系
/ ：找直接子节点
2. 谓词查询
//div[@id]
//div[@id="maincontent"]
3. 属性查询
//@class
4. 模糊查询
//div[contains(@id, "he")]
//div[starts‐with(@id, "he")]
5. 内容查询
//div/h1/text()
6. 逻辑运算
//div[@id="head" and @class="s_down"]
//title | //price
# 查找ul下面的li
from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)# tree.xpath('xpath路径')# 查找ul下面的li
li_list=tree.xpath('//body/ul/li')
# 判断列表的长度
print(li_list)
print(len(li_list))
# 查早所有id的属性的li标签
HTML中添加分别在北京和上海中添加 id='1' id='2'
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"/><title>Title</title>
</head>
<body><ul><li id="1">北京</li><li id="2">上海</li><li>深圳</li><li>武汉</li></ul>
<!--<ul>-->
<!-- <li>大连</li>-->
<!-- <li>锦州</li>-->
<!-- <li>沈阳</li>-->
<!--</ul>-->
</body>
</html>from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)# tree.xpath('xpath路径')# # 查找ul下面的li
# li_list=tree.xpath('//body/ul/li')
# # 判断列表的长度
# print(li_list)
# print(len(li_list))# 查早所有id的属性的li标签
li_list=tree.xpath('//ul/li[@id]')
print(li_list)
print(len(li_list))
# text()获取标签中的内容
from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)# tree.xpath('xpath路径')# # 查找ul下面的li
# li_list=tree.xpath('//body/ul/li')
# # 判断列表的长度
# print(li_list)
# print(len(li_list))# 查早所有id的属性的li标签
# text()获取标签中的内容
li_list=tree.xpath('//ul/li[@id]/text()')
print(li_list)
print(len(li_list))
# 找到id为l1的标签
HTML：
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"/><title>Title</title>
</head>
<body><ul><li id="l1">北京</li><li id="2">上海</li><li>深圳</li><li>武汉</li></ul>
<!--<ul>-->
<!-- <li>大连</li>-->
<!-- <li>锦州</li>-->
<!-- <li>沈阳</li>-->
<!--</ul>-->
</body>
</html>Python：
from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)# tree.xpath('xpath路径')# # 查找ul下面的li
# li_list=tree.xpath('//body/ul/li')
# # 判断列表的长度
# print(li_list)
# print(len(li_list))# 查早所有id的属性的li标签
# text()获取标签中的内容
# li_list=tree.xpath('//ul/li[@id]/text()')# 找到id为l1的标签
li_list=tree.xpath('//ul/li[@id="l1"]/text()')
print(li_list)
print(len(li_list))
HTML:
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"/><title>Title</title>
</head>
<body><ul><li id="l1" class="c1">北京</li><li id="2">上海</li><li>深圳</li><li>武汉</li></ul>
<!--<ul>-->
<!-- <li>大连</li>-->
<!-- <li>锦州</li>-->
<!-- <li>沈阳</li>-->
<!--</ul>-->
</body>
</html>Python:
from lxml import etree
# xpath解析
# (1)本地文件 etree.parse
# (2)服务器的响应数据 response.read().decode('utf-8')******* 应用较多 etree.HTML()tree=etree.parse('shangguigu.html')
print(tree)# tree.xpath('xpath路径')# # 查找ul下面的li
# li_list=tree.xpath('//body/ul/li')
# # 判断列表的长度
# print(li_list)
# print(len(li_list))# 查早所有id的属性的li标签
# text()获取标签中的内容
# li_list=tree.xpath('//ul/li[@id]/text()')# 找到id为l1的标签
# li_list=tree.xpath('//ul/li[@id="l1"]/text()')# 查找到id为l1的li标签的class的属性值
li_list=tree.xpath('//ul/li[@id="l1"]/@class')
print(li_list)
print(len(li_list))
2、获取百度网站的百度一下
定位：
右键——检查——点击左上角小箭头——点击百度一下 即可快速定位
右键定位后的代码——Copy——Copy xPath
# 1 获取网页源码
# 2 解析 解析的服务器响应的文件 etree.HTML
# 3 打印import urllib.requesturl='https://www.baidu.com/'
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}# 请求对象的定制
request =urllib.request.Request(url=url,headers=headers)#模拟浏览器访问服务器
response =urllib.request.urlopen(request)#获取网页源码
content=response.read().decode('utf-8')# print(content)
# 解析网页源码 来获取我们想要的数据
from lxml import etree#解析服务器响应的文件
tree=etree.HTML(content)# 获取想要的数据 xpath默认返回一个列表
result=tree.xpath('//input[@id="su"]/@value')[0]print(result)
