zl程序教程

您现在的位置是:首页 >  后端

当前栏目

使用 Django 在不同开发环境分布式部署管理 Scrapy爬虫脚本

2023-09-11 14:18:26 时间

将我们爬虫工程师通过 Scrapy 爬虫框架写好的项目整合到 Django的 Web环境进行统一管理的后台。简单理为一个Admin后台进行控制我们写好的爬虫脚本,进行有针对性的网络数据采集(比如固定时间、固定间隔、或者一次性采集)方便管理,并且对项目进行简单的项目管理,对于了解Django的Web开发的小伙伴来说后期如果需要报表功能可以基于这个框架自己增加Admin中的模块功能,比较容易。

该框架对于初学者非常友好,并且使用简单、高效。
在这里插入图片描述