Python Scrapy框架的组件有哪些，工作原理是什么-群英

上一篇：OpenCV中的二维直方图实现与Numpy有何不同下一篇：Python内置函数Counter有何用处及用法是什么

在这篇文章中，我们来学习一下“Python Scrapy框架的组件有哪些，工作原理是什么”的相关知识，下文有详细的讲解，易于大家学习和理解，有需要的朋友可以借鉴参考，下面就请大家跟着小编的思路一起来学习一下吧。

一.为什么使用Scrapy框架?

Scrapy是一个快速、高层次的屏幕抓取和web抓取的框架,可用于数据挖掘、监测和自动化检测，任何人都可以根据需要去进行修改。

二.Scrapy框架每个组件介绍

1.Scrapy引擎（Scrapy Engine）：负责控制数据流在系统的所以组件中的流动，并在相应动作发生时触发事件。

2.调度器（Scheduler）:从引擎接受reques并将其入队，便于以后请求它们提供给引擎。

3.下载器（Downloader）：负责获取网页数据并且提供给引擎，然后提供给Spider。

4.Spiders：指Scrapy用户编写用于分析response并且提取item或额外跟进的URL类人。每个Spider负责处理一些特定网站。

5.Item Pipeline：负责处理被Spider提取出来的item。典型的处理有清洁、验证及持久化

6.下载器中间件（Downloader Middlewares）：指在引擎及下载器之间的特定钩子（specific hook），处理Downloader 传递给引擎的response。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

7.Spiders中间件（Spider Middlewares）:指在引擎及Spider之间的特定钩子（specific hook），处理Spider 的输入（response）和输出（items及requests）。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。