基于Redis的爬虫平台的实现
2023-02-18 16:37:04 时间
一、需求:
1.数据抓取:目标数据的下载、解析、入库功能。
2.数据服务:黑名单、灰名单等查询服务。
3.平台监控:平台各个模块的数据实时监控。
二、WEB端效果展示:
三、架构设计
下载器、解析器、持久器、调度器都支持独立部署,可横向拓展部署多台服务。解耦。
下载器内部开启多线程下载;
解析器从待解析队列取数据,分支抽链、解析;
调度器和持久器都放在web工程中,项目启动时抓取任务初始化+持久器任务开启。
下载器、解析器、调度器、持久器都依赖于底层基础DAO服务。
四、技术选型
1.下载器和解析器:尝试过很多种,Jsoup、Jspider、Xpath、httpclient、HtmlUnit等。基本功能都可以。Jsoup可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的强大选择器最终让我选择了它。
2.生产消费介质:这里有很多种:消息队列MQ、缓存容器redis等都可以胜任。作为一次练手,采用单台redis作为消费介质(内部串行执行),可避免多线程并发问题,数据结构为list。
相关文章
- WCF学习之旅—第三个示例之二(二十八)
- WCF学习之旅—第三个示例之一(二十七)
- WCF学习之旅—TcpTrace工具(二十六)
- WCF学习之旅—TcpTrace工具(二十五)
- WCF学习之旅—实现支持REST客户端应用(二十四)
- WCF学习之旅—实现支持REST服务端应用(二十三)
- WCF学习之旅—实现REST服务(二十二)
- WCF学习之旅—TCP双工模式(二十一)
- WCF学习之旅—HTTP双工模式(二十)
- WCF学习之旅—请求与答复模式和单向模式(十九)
- WCF学习之旅—基于Fault Contract 的异常处理(十八)
- WCF学习之旅—基于ServiceDebug的异常处理(十七)
- WCF学习之旅—WCF中传统的异常处理(十六)
- WCF学习之旅—WCF4.0中的简化配置功能(十五)
- WCF学习之旅—WCF服务配置(十四)
- WCF学习之旅—WCF服务的批量寄宿(十三)
- WCF学习之旅—WCF服务的WAS寄宿(十二)
- WCF学习之旅—WCF服务的Windows 服务程序寄宿(十一)
- WCF学习之旅—WCF服务部署到应用程序(十)
- WCF学习之旅—WCF服务部署到IIS7.5(九)