Python Selenium爬虫功能使用介绍

本文介绍python selenium 爬虫的功能以及使用

1. 基础核心功能

浏览器控制

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager# 自动管理浏览器驱动
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))# 控制浏览器窗口
driver.maximize_window()  # 最大化窗口
driver.minimize_window()  # 最小化窗口
driver.set_window_size(1200, 800)  # 自定义尺寸

页面导航

driver.get("https://www.baidu.com")  # 打开网页
driver.refresh()  # 刷新页面
driver.back()     # 返回上一页
driver.forward()  # 前进下一页

元素定位（8种方式）

from selenium.webdriver.common.by import By# 常用定位方式
driver.find_element(By.ID, "kw")           # ID定位
driver.find_element(By.NAME, "wd")         # Name属性
driver.find_element(By.CLASS_NAME, "s_ipt") # Class名
driver.find_element(By.TAG_NAME, "input")   # 标签名
driver.find_element(By.LINK_TEXT, "新闻")   # 链接文本
driver.find_element(By.XPATH, "//input[@id='kw']")  # XPath
driver.find_element(By.CSS_SELECTOR, "#kw") # CSS选择器

---

2. 高级交互功能

表单操作

element = driver.find_element(By.ID, "kw")
element.send_keys("Python")       # 输入文本
element.clear()                   # 清空输入框
element.send_keys(Keys.RETURN)    # 模拟回车键

鼠标 & 键盘动作

from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys# 鼠标悬停/双击/右击
actions = ActionChains(driver)
actions.move_to_element(element).perform()  # 悬停
actions.double_click(element).perform()     # 双击
actions.context_click(element).perform()    # 右击# 键盘组合键
element.send_keys(Keys.CONTROL + 'a')  # Ctrl+A全选

下拉框处理

from selenium.webdriver.support.select import Selectselect = Select(driver.find_element(By.TAG_NAME, "select"))
select.select_by_index(1)      # 按索引选择
select.select_by_value("opt1") # 按value值
select.select_by_visible_text("选项文本")  # 按可见文本

---

3. 等待机制（避免元素未加载）

显式等待（推荐）

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC# 等待最多10秒，直到元素可见
element = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.ID, "kw"))
)

隐式等待（全局设置）

driver.implicitly_wait(5)  # 每次查找元素最多等5秒

4. 高级特性

执行JavaScript

# 滚动页面/修改属性/复杂操作
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
driver.execute_script("arguments[0].style.border='3px solid red';", element)

Cookie管理

driver.get_cookie("session_id")  # 获取指定cookie
driver.add_cookie({"name": "test", "value": "123"})  # 添加cookie
driver.delete_all_cookies()      # 清除所有cookie

截图与日志

driver.save_screenshot("error.png")  # 页面截图# 获取控制台日志
logs = driver.get_log("browser")  # Chrome需配置选项

---

5. 实际应用场景

自动化测试

# 登录测试示例
def test_login():driver.find_element(By.ID, "username").send_keys("test")driver.find_element(By.ID, "password").send_keys("123456")driver.find_element(By.ID, "submit").click()assert "欢迎页" in driver.title

数据爬取

# 爬取动态渲染的新闻标题
titles = driver.find_elements(By.CSS_SELECTOR, ".news-title")
for title in titles:print(title.text)

文件上传

driver.find_element(By.ID, "file-upload").send_keys("/path/to/file.txt")

---

6. 特殊场景处理

iframe切换

driver.switch_to.frame("iframe_id")  # 进入iframe
driver.switch_to.default_content()   # 返回主文档

多窗口/标签页

driver.switch_to.window(driver.window_handles[1])  # 切换到第二个标签页

无头模式（Headless）

options = webdriver.ChromeOptions()
options.add_argument("--headless")  # 无界面运行
driver = webdriver.Chrome(options=options)

---

总结表格

功能类别	主要方法/类	典型应用场景
浏览器控制	webdriver.Chrome()	启动/关闭浏览器
元素定位	By类 + find_element()	表单填写/按钮点击
等待机制	WebDriverWait + EC	处理动态加载内容
高级交互	ActionChains/Select	鼠标操作/下拉框选择
JavaScript执行	execute_script()	页面滚动/修改DOM属性
多窗口处理	switch_to.window()	处理弹出窗口/多标签页

通过组合这些功能，可以完成从简单自动化到复杂爬虫/测试的全流程操作。建议从基础定位和交互开始练习，逐步掌握高级特性。

下载 ChromeDriver 的简单方法

自动下载（推荐）

使用 webdriver-manager 库可以自动下载匹配的 ChromeDriver：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager# 自动下载并安装 ChromeDriver
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://www.google.com")

安装 webdriver-manager：

pip install webdriver-manager

自动下载关键特点

1. 自动版本管理：

   • 会自动检测你安装的 Chrome 浏览器版本

   • 下载匹配的 ChromeDriver 版本

2. 目录结构：

   .wdm/
   └── drivers/└── chromedriver/└── [操作系统类型]/└── [版本号]/└── chromedriver[.exe]

3. 无需手动配置：

   • 每次运行时会检查是否已有匹配版本

   • 如果没有或版本不匹配，会自动下载新版

查看实际路径的方法

如果你想查看具体安装在哪里，可以临时修改代码：

from webdriver_manager.chrome import ChromeDriverManager

path = ChromeDriverManager().install()
print(f"ChromeDriver 安装在: {path}")

这会在控制台输出类似：

%runfile C:/python/installChromDriver.py --wdir
ChromeDriver 安装在: C:\Users\leon\.wdm\drivers\chromedriver\win64\136.0.7103.49\chromedriver-win32/chromedriver.exe