【愚公系列】《Python网络爬虫从入门到精通》021-爬取动态渲染信息（Selenium数据的爬取）

标题 详情 作者简介 愚公搬代码 头衔 华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。 近期荣誉 2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。 博客内容 .NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。 欢迎 👍点赞、✍评论、⭐收藏

文章目录

• 🚀前言
• 🚀一、Selenium数据的爬取
• • 🔎1.Selenium 简介
  • 🔎2.环境配置
  • • 🦋2.1 安装 Selenium 模块
    • 🦋2.2 下载浏览器驱动
  • 🔎3.基础使用示例
  • 🔎4.Selenium 常用方法
  • • 🦋4.1 元素定位方法
    • 🦋4.2 显式等待与隐式等待
    • 🦋4.3 操作浏览器
    • 🦋4.4 元素交互
    • 🦋4.5 获取元素属性
  • 🔎5.高级配置
  • • 🦋5.1 无头模式 (Headless)
    • 🦋5.2 绕过反爬检测
    • 🦋5.3 代理设置
  • 🔎6.注意事项

---

🚀前言

在现代网络数据采集中，许多网站采用了复杂的JavaScript脚本和动态加载技术，使得传统的爬虫工具难以有效提取数据。这时，Selenium这个强大的自动化测试工具便成为了数据爬取的理想选择。它不仅可以模拟用户在浏览器中的操作，还能够处理动态网页，轻松抓取那些通过Ajax或JavaScript生成的数据。

在本期文章中，我们将深入探讨如何使用Selenium进行数据的爬取。我们将介绍Selenium的基本使用方法，包括如何设置环境、启动浏览器、定位元素以及提取所需的信息等。通过生动的实例，我们将展示如何利用Selenium处理复杂的网页，帮助你快速上手并掌握数据提取的技巧。

🚀一、Selenium数据的爬取

🔎1.Selenium 简介

• 作用：浏览器自动化测试框架，可模拟用户操作（点击、滚动、输入等），获取动态渲染的页面内容。
• 适用场景：爬取通过 JavaScript 动态加载的网页（如无限滚动、点击加载更多）。
• 支持浏览器：Chrome、Firefox、Edge 等。
• 核心功能：
  • 控制浏览器行为（打开页面、点击按钮、输入文本）。
  • 获取页面源代码（包含动态生成的内容）。
  • 定位并提取网页元素。

🔎2.环境配置

🦋2.1 安装 Selenium 模块

pip install selenium

🦋2.2 下载浏览器驱动

• Chrome 驱动：
  • 访问 ChromeDriver 官网，下载与本地浏览器版本匹配的驱动。
  • 解压 chromedriver.exe 并保存到 Python 安装目录（如 C:\\Python\\Scripts\\）。

🔎3.基础使用示例

示例：获取京东商品信息

from selenium import webdriver # 导入浏览器驱动模块from selenium.webdriver.support.wait import WebDriverWait # 导入等待类from selenium.webdriver.support import expected_conditions as EC # 等待条件from selenium.webdriver.common.by import By # 节点定位try: # 创建谷歌浏览器驱动参数对象 chrome_options = webdriver.</