【Python爬虫】BeautifulSoup4 学习之路

目录

一、基本概述

二、下载与安装

三、使用方法

四、案例分析

五、完整代码

六、案例效果截图

一、基本概述

Beautiful Soup 简称 BS4（4表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据，它是数据解析的工具。

二、下载与安装

1.可以输入下面指令进行下载bs4        

pip install bs4

2.BS4 解析页面时需要依赖文档解析器，所以还需要安装 lxml 作为解析库。

pip install lxml

三、使用方法

1.初始化 bs 对象

soup = BeautifulSoup(fp,"lxml")

2通过 find/find_all 或其他方法检测信息

# findprint(soup.find('div', class_='adc'))#find_allprint(soup.find_all('a'))

3.输出或保存

# 取属性值print(soup.select(".adc > ul > li > a ")[0]['title'])print(soup.select(".adc > ul > li > a ")[0]['href'])print(soup.select(".adc > ul > li > a ")[0]['target'])

四、案例分析

bs4爬取lol.html，并输出相应标签内容。

五、完整代码

from bs4 import BeautifulSoupif __name__ == '__main__':    # ua 伪装 =》 模拟浏览器上网    headers = { "User-Agent": 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'    }    fp = open(".\lol.html","r",encoding="utf-8")    soup = BeautifulSoup(fp,"lxml")    # find    print(soup.find('div', class_='adc'))    #find_all    print(soup.find_all('a'))    # 取属性值    print(soup.select(".adc > ul > li > a ")[0]['title'])    print(soup.select(".adc > ul > li > a ")[0]['href'])    print(soup.select(".adc > ul > li > a ")[0]['target'])

六、案例效果截图