> 文档中心 > Python Beautiful Soup教程-CSS选择器

Python Beautiful Soup教程-CSS选择器


系列文章目录

Beautiful Soup教程-简介及安装
Beautiful Soup教程-基本使用
Beautiful Soup教程-认识选择器
Beautiful Soup教程-节点选择器之选择元素的方法
Beautiful Soup教程-节点选择器之提取信息的方法
Beautiful Soup教程-节点选择器之嵌套选择的方法
Beautiful Soup教程-节点选择器之关联选择的方法
Beautiful Soup教程-方法选择器
Beautiful Soup教程-CSS选择器


文章目录

  • 系列文章目录
  • 前言
  • Beautiful Soup CSS选择器
    • 1. Beautiful Soup CSS选择器总览
    • 1. 了解Beautiful Soup的CSS选择器
        • 1.1 获取元素
        • 1.2 CSS选择器语法
        • 1.2 示例
    • 2. CSS选择器的高级用法
        • 2.1 嵌套选择
        • 2.2 获取属性
        • 2.3 获取文本
    • 3. 总结

前言

Beautiful Soup是Python的一个网页解析库,处理快捷; 支持多种解析器,功能强大。教程细致讲解Beautiful Soup的深入使用、节点选择器、CSS选择器、Beautiful Soup4的方法选择器等重要知识点,是学好爬虫的基础课程。


Beautiful Soup CSS选择器

学习目标

  1. 掌握Beautiful Soup的CSS选择器的基本使用
  2. 掌握Beautiful Soup的CSS选择器的高级使用

1. Beautiful Soup CSS选择器总览

在这里插入图片描述

1. 了解Beautiful Soup的CSS选择器

使用CSS选择器,只需要调用select()方法,并结合CSS选择器语法就可以定位元素的位置。

1.1 获取元素

  • 格式:soup.select()

    soup为Beautiful Soup4对象

    select()中书写CSS选择器语法

1.2 CSS选择器语法

本部分内容在前端部分将结果,这里不再详细赘述,我们一起来简单复习下

(1) id选择器

id选择器需要使用#来定位元素,例如:获取第一个ul节点#list-1

<div class="panel-body">    <ul class="list" id="list-1">      <li class="element"> Foo</li>      <li class="element">Bar</li>      <li class="element">]ay</li>    </ul>    <ul class="list list-small" id="list-2">      <li class="element"> Foo</li>      <li class="element">Bar</li>    </ul></div>

(2) 类选择器

类选择器需要使用.来定位元素,例如:获取所有的ul.list‘«

<div class="panel-body">    <ul class="list" id="list-1">      <li class="element"> Foo</li>      <li class="element">Bar</li>      <li class="element">]ay</li>    </ul>    <ul class="list list-small" id="list-2">      <li class="element"> Foo</li>      <li class="element">Bar</li>    </ul></div>

(3) 标签选择器

标签选择器需要使用标签来进行选择,例如:获取h4 h4

<div class="panel-heading">     <h4>Hello</h4></div>

(4) 混合使用

获取第一个ul中的li节点,.panel-body #list-1 li

<div class="panel-body">    <ul class="list" id="list-1">      <li class="element"> Foo</li>      <li class="element">Bar</li>      <li class="element">]ay</li>    </ul>    <ul class="list list-small" id="list-2">      <li class="element"> Foo</li>      <li class="element">Bar</li>    </ul></div>

1.2 示例

  1. 获取class="panel-heading"div
  2. 获取所有的li节点
  3. 获取第二个ulli节点
  4. 获取第二个ul节点
html = '''

Hello

  • Foo
  • Bar
  • ]ay
  • Foo
  • Bar
'''
from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'lxml')print(soup.select('.panel .panel-heading'))print(soup.select('ul li'))print(soup.select('#list-2 .element'))print(type(soup.select('ul')[0]))

输出结果如下:

[<div class="panel-heading"><h4>Hello</h4></div>][<li class="element"> Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element"> Foo</li>, <li class="element">Bar</li>][<li class="element"> Foo</li>, <li class="element">Bar</li>]<class 'bs4.element.Tag'>

2. CSS选择器的高级用法

2.1 嵌套选择

这里所指的嵌套选择和我们之前所学的嵌套选择是一样。先选择一个节点,再获取这个节点下面的子节点。

html = '''

Hello

  • Foo
  • Bar
  • ]ay
  • Foo
  • Bar
'''
from bs4 import BeautifulSoupsoup = BeautifulSoup(html, 'lxml')for ul in soup.select('ul'): print(type(ul)) print(ul.select('li'))

输出结果:

<class 'bs4.element.Tag'>[<li class="element"> Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]<class 'bs4.element.Tag'>[<li class="element"> Foo</li>, <li class="element">Bar</li>]

2.2 获取属性

CSS选择器获取属性的方法和节点选择器获取属性的方法一样,使用attrs属性来获取。

from bs4 import BeautifulSouphtml = '''

Hello

  • Foo
  • Bar
  • ]ay
  • Foo
  • Bar
'''
soup = BeautifulSoup(html, 'lxml')print(soup.select("#list-2 li"))for li in soup.select("#list-2 li"): print(type(li)) print(li.attrs) print(li.attrs['class'])

输出结果

[<li class="element"> Foo</li>, <li class="element">Bar</li>]<class 'bs4.element.Tag'>{'class': ['element']}['element']<class 'bs4.element.Tag'>{'class': ['element']}['element']

2.3 获取文本

CSS选择器获取文本的方法和节点选择器获取文本的方法一样,使用stringstrings属性来获取。

from bs4 import BeautifulSouphtml = '''

Hello

  • Foo
  • Bar
  • ]ay
  • Foo
  • Bar
'''
soup = BeautifulSoup(html, 'lxml')print(soup.select("#list-2 li"))for li in soup.select("#list-2 li"): print(type(li)) print(li.string) print(soup.select("#list-2"))for ul in soup.select("#list-2"): print(type(ul)) print(ul.strings) print(list(ul.strings))

输出结果

[<li class="element"> Foo</li>, <li class="element">Bar</li>]<class 'bs4.element.Tag'> Foo<class 'bs4.element.Tag'>Bar[<ul class="list list-small" id="list-2"><li class="element"> Foo</li><li class="element">Bar</li></ul>]<class 'bs4.element.Tag'><generator object _all_strings at 0x101c353b8>['\n', ' Foo', '\n', 'Bar', '\n']

3. 总结

  1. 嵌套选择,之所以能够进行嵌套选择是因为它依然是一个Tag对象
  2. 获取属性,和节点选择器一样,使用attrs属性来获取属性值
  3. 获取文本,和节点选择器一样,使用stringstrings属性来获取文本信息

学IT上博学谷
Python Beautiful Soup教程-CSS选择器

小故事网