爬虫日记(84)：Scrapy的Crawler类（三）
2023-09-14 09:10:04 时间
前面完成Crawler类的构造函数分析，接着下来我们来分析这个类的第一个开始调用的函数，Crawler类被创建之后，就会立即调用crawl函数，代码如下：
class CrawlerRunner:
...
def _crawl(self, crawler, *args, **kwargs):
self.crawlers.add(crawler)
d = crawler.crawl(*args, **kwargs)
self._active.add(d)
...
在这里传送给crawl函数的参数是从命令行里传过来的参数，大部分重要的工作都是在crawl函数里完成的。这个函数的代码如下：
相关文章
- 第三百五十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中
- 第三百四十六节，Python分布式爬虫打造搜索引擎Scrapy精讲—Requests请求和Response响应介绍
- Python爬虫：scrapy中间件及一些参数
- 爬虫日记(92)：Scrapy的下载结果回应分析
- 爬虫日记(88)：Scrapy的Downloader类（三）
- 爬虫日记(87)：Scrapy的RFPDupeFilter类(二）
- 爬虫日记(86)：Scrapy的Scheduler类（三）
- 爬虫日记(86)：Scrapy的Scheduler类（二）
- 爬虫日记(83)：Scrapy的CrawlerProcess类(四）
- 爬虫日记(83)：Scrapy的CrawlerProcess类(三）
- 爬虫日记(83)：Scrapy的CrawlerProcess类(二）
- 爬虫日记(74)：Scrapy项目配置参数源码分析
- 爬虫日记(61)：Scrapy的数据去重处理管道
- 爬虫日记(60)：Scrapy的过滤性管道
- 爬虫日记(29)：随机更换scrapy的代理IP地址
- 爬虫日记(25)：Scrapy 中设置随机 User-Agent 二
- 爬虫日记(16)：scrapy特殊功能的蜘蛛类
- 爬虫日记(13)：scrapy提取超级连接
- 爬虫日记(9)：scrapy的第一个例子
- 爬虫日记(8)：scrapy的安装
- scrapy爬虫实现爬取图片（通过图片管道）