zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫日记(88):Scrapy的Downloader类(二)

爬虫scrapy 日记 88
2023-09-14 09:10:04 时间

接着下来,我们来分析Downloader类的初始化过程,以及相关的数据结构,这样才能明白它具体做了些什么事情。

第69行定义了类Downloader类。

第71行定义保存在请求字典里的键,比如request.meta[self.DOWNLOAD_SLOT]。

第73行定义构造函数,传入爬虫类的管理类对象crawler。

第74行获得设置参数settings。

第75行获得信号发送对象。

第76行定义当前下载对象集合。

第77行定义当前下载活动对象的集合