scrapy框架学习

为什么用框架

当然是因为框架可以帮助把我们的爬虫爬取速度变得更快,爬虫更健壮。

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。

框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。

scrapy的工作流程

这张图我们可以看出这个框架是由Scrapy Engine(引擎)、Scheduler(调度器)、Downloader(下载器)、Spider(爬虫)、Item Pipeline(管道)、Downloader Middlewares(下载中间件)、Spider Middlewares(Spider中间件)构成的。

它们的作用:
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
相当于一个总指挥一样,负责决策。

Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。

Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,

Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),

Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方.

Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

一般来说需要我们动手写的是spider和pipeline

scrapy爬虫的基本步骤

创建一个scrapy项目
scrapy startproject 爬虫项目名字
注意是命令行操作
生成一个爬虫
scrapy genspider 爬虫名字 允许爬取的域名
(同样命令行)
提取数据
完善spider,使用xpath等方法

保存数据
pipeline中保存数据

文章作者: Mr joe
文章链接: http://mrjoe.cc/2018/06/24/scrapy框架学习/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Mrjoe的博客
欢迎关注哦