zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫日记(89):Scrapy的DownloadHandlers类

爬虫scrapy 日记 89
2023-09-14 09:10:04 时间

前面分析了下载器的整个源码,理解了下载器的工作过程,在那里经常会遇到一个类,就是DownloadHandlers类,这个类主要用来对不同的下载协议进行管理的,比如文件协议和http协议不一样,那么就需要使用不同的类来表示,又比如https的下载和http的下载过程也不一样,这样也要分开处理。因此DownloadHandlers类需要实现不同的协议、不同的下载方式进行管理。

我们先来看一下默认的设置参数:

DOWNLOAD_HANDLERS_BASE = {

    'data': 'scrapy.core.downloader.handlers.datauri.DataURIDownloadHandler',

    'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',

    'http': 'scrapy.core.downloa