zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫日记(88):Scrapy的Downloader类(三)

爬虫scrapy 日记 88
2023-09-14 09:10:04 时间

接着下来我们来分析下载的过程以及数据返回之后的处理,在这个过程里要小心地安排处理的步骤,否则会比较容易出错。

在这里按这个流程图来处理,详细的代码如下:

第160行定义了下载函数,传入是slot对象、请求对象、蜘蛛类对象。

第164行创建一个延时对象,这个延时对象执行的是self.handlers.download_request函数,它会把请求的种类进行分类,如果是HTTP就调用HTTP类,如果是文件,就调用文件下载协议。