《精通Python网络爬虫：核心技术、框架与项目实战》——1.3　网络爬虫的组成

本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第1章，第1.3节，作者 韦 玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 网络爬虫的组成

接下来，我们将介绍网络爬虫的组成。网络爬虫由控制节点、爬虫节点、资源库构成。

图1-1所示是网络爬虫的控制节点和爬虫节点的结构关系。

可以看到，网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点，控制节点之间可以互相通信，同时，控制节点和其下的各爬虫节点之间也可以进行互相通信，属于同一个控制节点下的各爬虫节点间，亦可以互相通信。

控制节点，也叫作爬虫的中央控制器，主要负责根据URL地址分配线程，并调用爬虫节点进行具体的爬行。

爬虫节点会按照相关的算法，对网页进行具体的爬行，主要包括下载网页以及对网页的文本进行处理，爬行后，会将对应的爬行结果存储到对应的资源库中。

快速上手python的简单web框架flask python可以做很多事情，虽然它的强项在于进行向量运算和机器学习、深度学习等方面。但是在某些时候，我们仍然需要使用python对外提供web服务。
新手教程 | Python Scrapy框架HTTP代理的配置与调试 做过python爬虫的都知道，HTTP代理的设置时要在发送请求前设置好，那HTTP代理的逻辑点在哪里呢？实际上，只需要在Scrapy 的项目结构中添加就好