2.8K Star看看人家那智能在线爬虫系统,那叫一个优雅
2023-06-13 09:17:23 时间
上次是谁要的智能在线爬虫系统项目啊,帮你找到了。
这是我目前见过的智能在线爬虫系统项目。功能完整,代码结构清晰。值得推荐。
介绍
本项目系统是新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。平台以流程图的方式定义爬虫, 是一个高度灵活可配置的爬虫平台。
技术功能
- 支持 Xpath/JsonPath/css 选择器 / 正则提取 / 混搭提取
- 支持 JSON/XML / 二进制格式
- 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
- 支持爬取 JS 动态渲染 (或 ajax) 的页面
- 支持代理
- 支持自动保存至数据库 / 文件
- 常用字符串、日期、文件、加解密等函数
- 支持插件扩展 (自定义执行器,自定义方法)
- 搜索公众号 Linux 中文社区回复 “外卖”,送你一份惊喜礼包。
- 任务监控, 任务日志
- 支持 HTTP 接口
- 支持 Cookie 自动管理
- 支持自定义函数
功能演示
爬虫列表
爬虫测试
Debug
日志
地址:https://gitee.com/ssssssss-team/spider-flow
免责声明
请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow,遵守蜘蛛协议,不要将spider-flow用于任何非法用途。
如您选择使用spider-flow即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。
更多功能广大网友可以继续挖掘。
相关文章
- Java项目毕业设计:基于springboot+vue的电影视频网站系统「建议收藏」
- scrapy的爬虫案例
- 中国知网爬虫
- 爬虫(五)-openlaw[通俗易懂]
- 排名前20的网页爬虫工具有哪些_在线爬虫
- Python 协程 asyncio 极简入门与爬虫实战
- Python招聘岗位信息聚合系统(拥有爬虫爬取、数据分析、可视化、互动等功能)
- 携程 爬虫_python自动化和爬虫先学哪个
- 爬虫浏览器的Cloudflare五秒盾处理
- Python爬虫,最新的B站弹幕和评论爬虫,你们要的冰冰来啦!
- 【k哥爬虫普法】非法入侵计算机信息系统,获取1500万余条个人信息!
- Redis爬虫:构建高效的网络爬取系统(redis爬虫)
- 吗?爬虫是否有必要应用Redis?(爬虫有必要redis)
- 爬虫代理504状态码解决方案
- 关于PHP爬虫接入爬虫代理的代码demo
- 多线程爬虫批量下载pcgame图片url保存为xml的实现代码
- Python实现抓取页面上链接的简单爬虫分享