开源基于开源Kettle自研的大数据调度服务监控平台

本产品是基于开源Kettle自研的Kettle核心接口调用基础组件，其实早在5年前就想搞了，构思了很久，拖到现在，不过还行，现在也不晚吧

最初的想法是启蒙于当年给烟草做过的一个数据交换平台的项目，数据的抽取是基于Kettle 5.x版本， 使用kettle的spoon客户端做的数据抽取

为企业解决了棘手并且重要的ETL问题，因此Kettle是一款非常优秀的开源数据抽取工具。

同时，kettle自身也有很多的问题，比如

• 只能使用客户端配置作业、转换
• 跨平台移植困难
• 数据安全性较差，系统一旦崩溃，文件库的内容容易丢失
• 客户端非常耗内存、CPU，只适合配置，不适合做业务
• Web界面极其简单、丑陋，生产环境无法投入使用

基于上述几个企业痛点，我才决定工作之余，每天借用一点休息时间，慢慢积累，坚持不懈，才有了今天Smart Kettle调度平台的出世，也希望能切实 帮助到企业解决数据抽取、调度、监控的问题。

企业的痛点

• kettle的Spoon客户端太耗内存，异常卡顿，性能瓶颈明显
• kettle自带web管理工具，极其简陋，异常难用，无法投入生产环境
• kettle客户端工具无法在linux系统使用
• kettle客户端无法做到真正意义上的跨平台，bat及shell脚本切换繁杂
• kettle客户端迁移麻烦，每次都要安装一遍，耗费精力

它是一款超轻量级的kettle web端调度监控平台

• 支持作业、转换的自定义模板设置
• 支持作业、转换的多任务模板复制
• 支持作业、转换的GUI端配置同步到web端
• 支持作业、转换的日志自定路径配置
• 支持作业、转换的日志文件下载管理
• 支持文件库资源库配置
• 支持数据库资源库配置
• 支持SFTP/FTP/FTPS的远程资源库配置
• 支持资源库目录树查看
• 支持作业、转换的集群调度（远程子服务器调用）
• 支持作业、转换的GUI端配置同步到web端
• 支持作业、转换的调度配置
• 支持作业、转换的监控管理
• 支持作业、转换的本地执行
• 支持作业、转换的远程执行
• 支持作业、转换的定时配置
• 支持作业、转换的实时监控
• 支持kettle的web端资源库管理
• 支持自定义线程池设置、任务的并行处理
• 支持kettle 任务的告警监控、日志管理
• 提供丰富的业务库、字典库自定义设置
• 提供完整的、实时的大盘调度监控
• 提供系统的用户、角色、权限管理
• 提供Druid数据库查询脚本的实时监控能力
• 支持 Kettle 7.0.1+以上 版本
• 当前Kettle版本为9.2.0.0-179(注意：需要配置kettle-password-encoder-plugins，本系统已经集成进来，不需要再配置)

• Maven3+
• Jdk1.8+
• Mysql5.7+

https://gitee.com/yaukie/x-smart-kettle-server

更多功能广大网友可以继续挖掘。