> 文档中心 > [入门级项目]采集《python进阶》教程

[入门级项目]采集《python进阶》教程

首发于:https://mp.weixin.qq.com/s/Xo7StWY0VS2aEQi-52FNlA

前言

  • 难度:入门级
  • python版本:3.7
  • 主要收获:爬虫经验+100;python经验+100

主要会用到python和爬虫技术,入门级项目,偏简单,适合新人练手,看这个之前最好是对python和爬虫有一些了解

需求

需求名称:采集《python进阶》教程

网页:https://docs.pythontab.com/interpy/

需求:采集网页上的所有进阶内容,并整理成文档

采集具体的进阶教程内容即可

[入门级项目]采集《python进阶》教程

需求分析

我们看下需求,需要采集的东西并不是很多,我们先打开网页看一下

[入门级项目]采集《python进阶》教程

看下目录,数据量不是很多

大致数了一下就几十个页面,这很少了

对应下需求,根据经验,列下我们需要解决的一些问题

  1. 单页面抓取问题
  2. 多页面url获取问题
  3. <

中文民族服饰网