zl程序教程

您现在的位置是:首页 >  后端

当前栏目

爬虫日记(83):Scrapy的CrawlerProcess类(三)

爬虫scrapy 日记 83
2023-09-14 09:10:04 时间

前面完成了CrawlerRunner类构造函数的分析,接着从哪里继续开始呢?我想应该按顺序执行的主线来进行,可以从之前运行的命令里看到执行下面的函数:

class Command(BaseRunSpiderCommand):

    def run(self, args, opts):

       ...

 

        crawl_defer = self.crawler_process.crawl(spname, **opts.spargs)

所以我们可以从crawl函数来入手,它们之间的调用关系如下图: