Python网络爬虫（二） - 解析静态网页

文章目录

• 一、网页解析技术介绍
• 二、Beautiful Soup库
• • 1. Beautiful Soup库介绍
  • 2. Beautiful Soup库几种解析器比较
  • 3. 安装Beautiful Soup库
  • • 3.1 安装 Beautiful Soup 4
    • 3.2 安装解析器
  • 4. Beautiful Soup使用步骤
  • • 4.1 创建Beautiful Soup对象
    • 4.2 获取标签
    • • 4.2.1 通过标签名获取
      • 4.2.2 通过find()方法获取
      • 4.2.3 通过find_all()方法获取
      • 4.2.4 CSS选择器介绍
      • 4.2.5 通过select_one()方法获取
      • 4.2.6 通过select()方法获取
    • 4.3 提取数据
    • • 4.3.1 获取标签间的内容
      • 4.3.2 获取标签属性的值
• 三、实战：解析豆瓣读书中小说的网页
• • 1. 提取网页数据
  • 2. 保存数据到csv文件

一、网页解析技术介绍

网页解析技术是爬虫获取数据的核心环节，指从网页的HTML/XML等源代码中提取目标信息（如文本、链接、图片、表格数据等）的过程。

二、Beautiful Soup库

1. Beautiful Soup库介绍

Beautiful Soup 是 Python 中一款功能强大的 HTML/XML 解析库，它能够将复杂的网页源代码转换为结构化的树形文档（Parse Tree），并提供简单直观的 API 供开发者遍历、搜索和提取其中的元素与数据。

其核心优势在于：

• 强大的容错能力：能够处理不规范的 HTML 代码（如标签未闭合、属性缺失、嵌套混乱等），自动修复语法错误，生成可解析的结构，非常适合爬取实际场景中格式混乱的网页。
• 直观的操作方式：支持通过标签名、类名（class）、ID、属性等多种方式定位元素，语法贴近自然语言，即使是非前端开发背景的开发者也能快速上手。
• 灵活的解析支持：可搭配不同的解析器（如 Python 标准库的 html.parser、lxml、html5lib 等），兼顾解析速度、兼容性和功能需求。
• 丰富的功能扩展：提供遍历文档树、搜索文档树、修改文档结构等功能，不仅能提取数据，还能对网页内容进行二次处理。

Beautiful Soup 广泛应用于网络爬虫、数据挖掘、网页内容分析等场景，是 Python 爬虫生态中处理网页解析的核心工具之一。

2. Beautiful Soup库几种解析器比较

Beautiful Soup 本身不直接解析网页，而是依赖第三方解析器完成 HTML/XML 的解析工作。不同解析器在速度、容错性和功能上存在差异，选择合适的解析器能提升解析效率和兼容性。

以下是常用解析器的对比：

3. 安装Beautiful Soup库

Beautiful Soup 库的安装过程简单，支持通过 Python 包管理工具 pip 快速安装，同时需根据需求安装对应的解析器。

3.1 安装 Beautiful Soup 4

Beautiful Soup 目前最新稳定版本为 Beautiful Soup 4（简称 bs4），安装命令如下：

pip install beautifulsoup4 -i https://mirrors.aliyun.com/pypi/simple/

3.2 安装解析器

根据前文的解析器对比，推荐安装 lxml 解析器（兼顾速度和容错性）：

pip install lxml -i https://mirrors.aliyun.com/pypi/simple/

若需要 html5lib 解析器（用于极端不规范网页），安装命令如下：

pip install html5lib -i https://mirrors.aliyun.com/pypi/simple/

4. Beautiful Soup使用步骤

使用 Beautiful Soup 解析网页的核心流程为：创建Beautiful Soup对象 --> 获取标签 --> 提取数据。

4.1 创建Beautiful Soup对象

创建Beautiful Soup对象是使用该库解析网页的第一步，通过将网页内容（HTML/XML）和解析器传入BeautifulSoup类，生成一个可操作的树形文档对象。这个对象封装了网页的所有元素和结构，提供了丰富的方法用于遍历、搜索和提取数据。

基本语法：

from bs4 import BeautifulSoup# 创建Beautiful Soup对象soup = BeautifulSoup(markup, features, **kwargs)

Beautiful Soup类构造方法的参数说明：

示例：创建Beautiful Soup对象

from bs4 import BeautifulSoupsoup = BeautifulSoup(markup=open(file=\'./豆瓣读书/小说/0.html\', mode=\'r\', encoding=\'utf-8\'), features=\'lxml\')

4.2 获取标签

4.2.1 通过标签名获取

直接通过标签名称（如 title、div、a 等）访问网页中的第一个匹配标签，适用于获取页面中唯一或首个出现的标签。

语法：

tag = soup.标签名 # 获取第一个匹配的标签

示例： 获取title标签

from bs4 import BeautifulSoupsoup = BeautifulSoup(markup=open(file=\'./豆瓣读书/小说/0.html\', mode=\'r\', encoding=\'utf-8\'), features=\'lxml\')title_tag = soup.titleprint(title_tag)

打印结果如下图所示：

4.2.2 通过find()方法获取

find() 方法用于在文档树中查找第一个符合条件的标签，支持通过标签名、属性、文本内容等多条件筛选，灵活性远高于直接通过标签名获取。

语法：

tag = soup.find(name, attrs, recursive, string, **kwargs)

参数说明：

from bs4 import BeautifulSoupsoup = BeautifulSoup(markup=open(file=\'./豆瓣读书/小说/0.html\', mode=\'r\', encoding=\'utf-8\'), features=\'lxml\')tag = soup.find(name=\'div\', attrs={\"class\": \"pub\"})print(tag)

tag_list = soup.find_all(name, attrs, recursive, string, limit, **kwargs)

from bs4 import BeautifulSoupsoup = BeautifulSoup(markup=open(file=\'./豆瓣读书/小说/0.html\', mode=\'r\', encoding=\'utf-8\'), features=\'lxml\')tag = soup.find_all(name=\'div\', attrs={\"class\": \"pub\"}, limit=5)print(tag)