全网最详尽的 DrissionPage 使用教程：用 Python 轻松玩转动态网页
一、初识 DrissionPage：新时代网页自动化利器
1.1 什么是 DrissionPage？
DrissionPage 是一款基于 Python 的全能型网页自动化工具，创新性地将浏览器自动化与直接 HTTP 请求两大模式完美融合。它不仅具备 Selenium 的动态页面处理能力，还拥有 requests 的高效特性，堪称爬虫开发者的瑞士军刀。
1.2 为什么选择 DrissionPage？
二、环境搭建：5 分钟快速上手
2.1 安装核心库
# 安装最新稳定版pip install DrissionPage# 升级到最新开发版pip install DrissionPage --upgrade2.2 浏览器内核配置（可选）
from DrissionPage import ChromiumOptions# 自动下载并配置 Chromiumco = ChromiumOptions().auto_install()# 高级配置示例（无头模式 + 中文语言）co.set_headless(True)co.set_lang(\'zh-CN\')三、浏览器模式实战：动态页面全掌控
3.1 基础操作四部曲
from DrissionPage import ChromiumPage# 初始化浏览器（可视化模式）page = ChromiumPage(addr_driver_opts=co) # 访问目标网站page.get(\'https://www.zhihu.com\')# 定位搜索框并输入关键词search_box = page.ele(\'#Popover1-toggle\')search_box.input(\'人工智能\')# 点击搜索按钮search_btn = page.ele(\'xpath://button[@type=\"submit\"]\')search_btn.click()3.2 元素定位十八般武艺
page.ele(\'#main > .title\')page.ele(\'//div[@class=\"card\"]\')page.ele(\'text:热门话题\')page.ele(\'text:^\\\\d+月榜单$\')page.ele(\'#header\').ele(\'.logo\')3.3 智能等待：告别 time.sleep
# 显式等待元素出现（最多10秒）answer_div = page.wait.ele_loaded(\'.AnswerItem\', timeout=10)# 等待页面跳转完成page.wait.load_start()# 等待 Ajax 加载完成page.wait.ajax_load(\'//div[@class=\"comment-list\"]\')四、HTTP 模式：闪电战数据抓取
4.1 基础请求示例
from DrissionPage import SessionPagesession = SessionPage()# 发送 GET 请求session.get(\'https://api.zhihu.com/topstory\')# 自动解析 JSONprint(session.json[\'data\'][0][\'title\'])4.2 高级请求配置
# 自定义请求头session.headers = { \'Referer\': \'https://www.zhihu.com\', \'X-Requested-With\': \'XMLHttpRequest\'}# 设置代理session.proxies = {\'http\': \'http://127.0.0.1:1080\'}# 文件下载session.download(\'https://example.com/report.pdf\', \'./data\')五、双剑合璧：混合模式实战
5.1 动态参数抓取流程
# 浏览器模式获取动态 tokenpage.get(\'https://m.weibo.cn\')token = page.ele(\'meta[name=\"csrf\"]\').attr(\'content\')# 切换到 HTTP 模式批量抓取session = SessionPage()for page_num in range(1, 6): url = f\'https://m.weibo.cn/api/feed?token={token}&page={page_num}\' session.get(url) print(session.json[\'data\'])5.2 登录态保持技巧
# 浏览器模式登录page.get(\'https://passport.zhihu.com/login\')page.ele(\'#username\').input(\'user@example.com\')page.ele(\'#password\').input(\'your_password\')page.ele(\'button[type=\"submit\"]\').click()# 同步 Cookie 到 HTTP 模式session.cookies = page.cookies# 使用共享登录态session.get(\'https://www.zhihu.com/notifications\')六、反反爬策略大全
6.1 指纹伪装配置
co = ChromiumOptions()# 修改浏览器指纹co.set_user_agent(\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36\')co.set_platform(\'Win32\')co.set_resolution(1920, 1080)# 禁用 WebRTCco.set_argument(\'--disable-webrtc\')6.2 流量特征优化
# 随机化操作间隔import randompage.set.click_options(interval=(0.5, 2)) # 模拟人类滚动page.scroll.to_bottom(step=300, duration=1.5)七、企业级实战案例：知乎数据采集
7.1 需求分析
-
目标：采集知乎热榜前 50 问题
-
字段：标题、热度值、回答数、创建时间
-
难点：动态加载、登录验证、反爬机制
7.2 完整实现代码
from DrissionPage import ChromiumPagefrom time import sleepimport pandas as pddef get_zhihu_hot(): page = ChromiumPage() page.get(\'https://www.zhihu.com/hot\') results = [] for _ in range(5): items = page.eles(\'.HotItem\') for item in items: title = item.ele(\'.HotItem-title\').text heat = item.ele(\'.HotItem-metrics\').text answers = item.ele(\'text:回答\').parent().text.split()[0] time = item.ele(\'.HotItem-time\').text results.append({ \'标题\': title, \'热度\': heat, \'回答数\': answers, \'发布时间\': time }) if page.wait.ele_loaded(\'.Pagination-next\', timeout=3): page.ele(\'.Pagination-next\').click() page.wait.load_start() else: break df = pd.DataFrame(results) df.to_excel(\'知乎热榜.xlsx\', index=False)if __name__ == \'__main__\': get_zhihu_hot()八、性能优化指南
8.1 浏览器模式优化
# 禁用非必要资源加载page.set.load_mode.images(False) # 关闭图片page.set.load_mode.scripts(False) # 关闭 JavaScript# 内存优化page.set.memory_limit(\'80%\') # 限制内存使用8.2 HTTP 模式优化
# 启用连接池session.set.pool_size(10)# 自动重试配置session.set.retry_times(3) # 重试次数session.set.retry_interval(5) # 重试间隔（秒）九、常见问题排查
9.1 元素定位失败
-
✅ 检查元素是否在 iframe 中
-
✅ 确认页面加载已完成（使用 wait 方法）
-
✅ 尝试更换定位策略（优先使用 CSS 选择器）
9.2 请求被拦截
-
✅ 检查请求头完整性（特别是 Referer 和 Origin）
-
✅ 添加随机延迟（0.5-3 秒）
-
✅ 使用高质量代理 IP
记住：最好的学习方式就是立刻动手实践！如果遇到任何问题，欢迎在评论区交流讨论。
