> 文档中心 > 【Python爬虫】Scrapy学习之路

【Python爬虫】Scrapy学习之路

目录

一、概述

二、安装部署

三、项目运行流程

四、框架结构解析

五、项目实例

六、项目整体代码

七、抓取效果截图

八、Scrapy框架总结

一、概述

1.它是一个为了爬取网站数据,提取结构性数据而编写的应用框架。
2.应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

二、安装部署

pip install Scrapy

三、项目运行流程

1.使用 scrapy startproject test_scrapy(项目名) 指令创建一个项目

scrapy startproject test_scrapy

2.使用 scrapy genspider scrapy_01 www.baidu.com 指令创建一个爬虫代码

scrapy genspider scrapy_01 www.baidu.com

   其中,scrapy_01为文件名,www.baidu.com为抓取的网址,其都可以自己指定。

3.在创建的Scrapy文件上进行编写代码

4.使用 scrapy crawl scrapy_01 -o ./phone.csv 指令启动项目或使用 scrapy crawl scrapy_01 -o ./phone.csv 指令启动并将结果存储在phone.csv文件中

#启动项目scrapy crawl scrapy_01 -o#也可以启动并将结果存储在phone.csv文件中scrapy crawl scrapy_01 -o ./phone.csv 

四、框架结构解析

1.项目目录

  scrapy.cfg  【项目的配置文件】
  settings.py  【项目的配置文件】
  spiders/  【防止 爬虫代码的目录】

2. 爬虫文件的名字name不能重复

name = 'scrapy_01'

3.scrapy 允许爬取的 url 

allowed_domains = ['www.baidu.com']

4.scrapy 去爬取的 url 列表

start_urls = ['http://www.baidu.com/','https://www.sougou.com']

五、项目实例

使用Scrapy爬虫框架,进行爬取58同城的手机信息,并将信息保存在csv文件中。

六、项目整体代码

import scrapyclass Scrapy01Spider(scrapy.Spider):    name = 'scrapy_01'    allowed_domains = ['www.baidu.com']    start_urls = ['https://dl.58.com/shouji']    def parse(self, response): #1.返回selector(xpath,data[标签内容]) tr_list = response.xpath('//div[@class="containnerWrap clearfix"]/section/div[@class="cleft"]/table//tr') res = [] for index,tr in enumerate(tr_list):     message_get = tr.xpath('./td/a/div[@class="new-long-tit new-long-tit2"]/text()').get()     dic = {  'id' : index,  'message' : message_get     }     res.append(dic) return res

七、抓取效果截图

八、Scrapy框架总结

        Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。

松山湖网站