【Hadoop】Hadoop MR Job工作流引擎
2023-09-27 14:25:07 时间
Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本练习的一部分,Oozie 运行了一个 Apache Sqoop 作业,以便在 MySQL 数据库中的数据上执行导入操作,并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中。可以利用导入的数据集执行 Sqoop 合并操作,从而更新较旧的数据集。通过利用 UNIX shell 操作,可从 MySQL 数据库中提取用来执行 Sqoop 作业的元数据。同理,可执行 Java 操作来更新 Sqoop 作业所需的 MySQL 数据库中的元数据。
Oozie 工作流是控制依赖有向非循环图 (DAG) 中安排的 Oozie 操作的集合。控制依赖(Control dependency)可确保以下操作在前面的操作已成功完成后才会启动。本文首先会简要概述工作流控制节点,然后重点介绍以下工作流操作节点:
参考资料:
http://www.ibm.com/developerworks/cn/data/library/bd-hadoopoozie/
相关文章
- UWA 六月直播季 | 6.15 Unity引擎渲染效率全解析
- OLAP引擎:基于Druid组件进行数据统计分析
- Tair 对 Redis 引擎架构之争的看法
- CSDN日报190920:React Native发布新一代JS引擎Hermes
- 规则引擎Drools使用 第四篇Drools基础语法
- 【jvm系列-07】深入理解执行引擎,解释器、JIT即时编译器
- UE4引擎Bulid打包失败UnrealBuildTool Exception: System.IO.IOException:
- 自己根据前些天热门的模版引擎文章,弄了一个模版引擎
- MySQL基础之 存储引擎
- JS模板引擎handlebars.js的简单使用
- mysql存储引擎的一点学习心得总结
- 对HGE游戏引擎的一次封装
- 从0开发游戏引擎之三维几何体数据类
- VMWare常见问题-CPU虚拟化引擎