大数据与机器学习:实践方法与行业案例.2.4 作业调度
2.4 作业调度
调度工具用来对作业进行调度,通过ETL工具创建的作业如果需要周期性运行,就需要使用调度工具来完成。调度工具是一个相对复杂的系统,尤其是在跨操作系统、跨应用平台的作业环境中更是如此。
在复杂的作业环境中,需要使用商用调度工具,目前国内使用较多的商用调度工具为Control-M。该工具是BMC Software提供的企业级集中作业调度管理解决方案,能够集中管理跨平台、跨应用的生产控制和调度过程,因此适用于大型复杂的ETL调度场景。
一些相对简单的调度场景可以不使用专门的调度工具实现。比如,如果公司的作业环境全部是Linux系统,则可以使用系统自带的crontab进行调度。
例如,图2-11中的作业配置为每日凌晨1点10分开始运行,那么可以将代码清单2-41的内容保存在文件run_trx_load_and_static.sh中。
代码清单 2-41
kitchen.sh -rep=kettle_rep_test -job="z06837. analysis.trx_load_and_static"
-dir=/ -user=admin -pass=admin -level=Basic
然后编辑Linux系统的crontab文件(通过crontab –e 命令),再在该文件中加入如代码清单2-42所示的内容。
代码清单 2-42
10 01 * * * /home/queziyang/shell/run_trx_load_and_static.sh
crontab会在每天凌晨1点10分运行指定的脚本run_trx_load_and_static.sh,这样便可以完成每日定时调度该ETL作业。显然,使用crontab调度作业,本身是没有作业日志记录的,这也是为什么需要遵循ETL作业日志规范的原因之一。
相关文章
- 在 Go 里用 CGO?这 7 个问题你要关注!
- 9款优秀的去中心化通讯软件 Matrix 的客户端
- 求职数据分析,项目经验该怎么写
- 在OKR中,我看到了数据驱动业务的未来
- 火山引擎云原生大数据在金融行业的实践
- OpenHarmony富设备移植指南(二)—从postmarketOS获取移植资源
- 《数据成熟度指数》报告:64%的企业领袖认为大多数员工“不懂数据”
- OpenHarmony 小型系统兼容性测试指南
- 肯睿中国(Cloudera):2023年企业数字战略三大趋势预测
- 适用于 Linux 的十大命令行游戏
- GNOME 截图工具的新旧截图方式
- System76 即将推出的 COSMIC 桌面正在酝酿大变化
- 2GB 内存 8GB 存储即可流畅运行,Windows 11 极致精简版系统 Tiny11 发布
- 迎接 ecode:一个即将推出的具有全新图形用户界面框架的现代、轻量级代码编辑器
- loongarch架构介绍(三)—地址翻译
- Go 语言怎么解决编译器错误“err is shadowed during return”?
- 敏捷:可能被开发人员遗忘的部分
- Denodo预测2023年数据管理和分析的未来
- 利用数据推动可持续发展
- 在 Vue3 中实现 React 原生 Hooks(useState、useEffect),深入理解 React Hooks 的