BeautifulSoup4（通常简称为 bs4）是一个非常强大的Python库，用于从HTML和XML文件中提取数据。它能够解析文档，并提供方便的方法来遍历、搜索和修改解析树。下面是如何安装以及一些基本的使用示例。
安装 beautifulsoup4
首先，确保你的环境中已经安装了Python和pip（Python的包管理工具）。然后，在命令行中运行以下命令来安装 beautifulsoup4：
pip install beautifulsoup4
此外，为了能够从网络上抓取HTML内容，你可能还需要安装一个HTTP库，比如 requests：
pip install requests
基本使用
1. 解析HTML文档
from bs4 import BeautifulSoup# 示例HTML内容
html_doc = """
<html>
<head><title>示例页面</title>
</head>
<body><p class="title"><b>这是一个标题</b></p><p class="story">从前有座山，山里有座庙。</p>
</body>
</html>
"""# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_doc, 'html.parser')# 打印整个文档
print(soup.prettify())
2. 搜索文档
查找所有段落
# 查找所有的<p>标签
paragraphs = soup.find_all('p')
for p in paragraphs:print(p.text)
查找特定类名的元素
# 查找class为"title"的<p>标签
title = soup.find('p', class_='title')
print(title.text)
查找第一个标签
# 查找第一个<b>标签
bold_text = soup.find('b')
print(bold_text.text)
3. 从网页获取并解析HTML
import requests
from bs4 import BeautifulSoup# 请求网页
url = 'http://example.com'
response = requests.get(url)# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')# 打印网页标题
print(soup.title.string)
4. 遍历文档树
# 获取所有<a>标签
for link in soup.find_all('a'):print(link.get('href'))
更多高级功能
- CSS选择器：可以使用CSS选择器来查找元素。
- 属性操作：可以修改或删除元素的属性。
- 文本处理：可以修改或删除元素中的文本。
例如，使用CSS选择器：
# 使用CSS选择器查找id为"link1"的<a>标签
link = soup.select_one('#link1')
print(link.get('href'))
这些例子展示了如何使用 BeautifulSoup4 来完成一些基础的任务。你可以基于这些例子探索更多功能，比如更复杂的解析、数据提取等。
如果你有具体的需求或遇到任何问题，请告诉我，我会尽力提供帮助。希望这些信息对你有所帮助！
