云小课|MRS基础原理之Oozie任务调度
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。
摘要:Oozie是一个基于工作流引擎的开源框架,它能够提供对Hadoop作业的任务调度与协调。Oozie是一个工作流引擎服务器,用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序,运行在Tomcat容器中。
本文分享自华为云社区《【云小课】EI第41课 MRS基础原理之Oozie任务调度》,作者: Hello EI。
Oozie是一个基于工作流引擎的开源框架,它能够提供对Hadoop作业的任务调度与协调。
Oozie是一个工作流引擎服务器,用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序,运行在Tomcat容器中。
Oozie工作流通过HPDL(一种通过XML自定义处理的语言,类似JBOSS JBPM的JPDL)来构造。包含“Control Node”(可控制的工作流节点)、“Action Node”。
“Control Node”用于控制工作流的编排,如“start”(开始)、“end”(关闭)、“error”(异常场景)、“decision”(选择)、“fork”(并行)、“join”(合并)等。
Oozie工作流中拥有多个“Action Node”,如MapReuce、Java等。
所有的“Action Node”以有向无环图DAG(Direct Acyclic Graph)的模式部署运行。所以在“Action Node”的运行步骤上是有方向的,当上一个“Action Node”运行完成后才能运行下一个“Action Node”。一旦当前“Action Node”完成,远程服务器将回调Oozie的接口,这时Oozie又会以同样的方式执行工作流中的下一个“Action Node”,直到工作流中所有“Action Node”都完成(完成包括失败)。
Oozie工作流提供各种类型的“Action Node”用于支持不同的业务需要,如MapReduce,HDFS,SSH,Java以及Oozie子流程。
如何使用Oozie
购买包含有Oozie组件的MRS集群后,用户即可使用Oozie进行作业提交及调度。
MRS集群的创建可参考MRS快速入门中的“创建集群”章节,例如购买MRS 3.1.0普通模式(关闭Kerberos认证)集群。
Oozie客户端的安装可以参考MRS用户指南的“安装客户端”章节,例如客户端安装目录为:“/opt/client”。
1.以客户端安装用户,登录安装客户端的节点。
2.执行以下命令,切换到客户端安装目录。
cd /opt/client
source bigdata_env
3.上传Oozie配置文件以及Jar包至HDFS(UserOozie为提交任务的用户名)。
hdfs dfs -mkdir /user/UserOozie
hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/UserOozie/
4.修改任务执行配置文件:
cd /opt/client/Oozie/oozie-client-*/examples/apps/map-reduce/
vi job.properties
nameNode=hdfs://hacluster
resourceManager=Yarn ResourceManager主节点IP地址:端口 ##端口可通过“yarn.resourcemanager.port”参数查询,例如8032。
queueName=default
examplesRoot=examples
user.name=admin
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce #hdfs上传路径
outputDir=map-reduce
oozie.wf.rerun.failnodes=true
5.运行oozie任务:
oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run
[root@kwephispra44947 map-reduce]# oozie job -oozie https://kwephispra44948:21003/oozie/ -config job.properties -run
......
job: 0000000-200730163829770-oozie-omm-W
6.登录FusionInsight Manager,选择“集群 > 服务 > Oozie ”。
7.单击“oozie WebUI”后的超链接进入Oozie页面,在Oozie的WebUI上查看任务运行结果。
关于Ooize应用开发及相关样例代码介绍,请参考《Oozie开发指南》。
好了,本期云小课就介绍到这里,快去体验MapReduce(MRS)更多功能吧!猛戳这里
相关文章
- 计算机视觉基础概念、运行原理和应用案例详解
- 【基础】Dropout和Batch Norm原理与使用
- Vue开发实战01-创建基础项目,包管理使用yarn
- 3.Redis基础运维之原理介绍和主从配置
- 【测试开发】python系列教程: 基础语法
- java对象的上转型对象_0基础前端和后端哪个难学
- 17. 基础IO(1)——文件操作类
- 前端基础进阶(十六):ES6常用基础合集
- 【重识云原生】第六章容器基础6.4.5.3节——Deployment实现原理解析
- 【重识云原生】第六章容器基础6.4.10.5节——Statefulset原理剖析
- 【深入浅出Java原理及实战】「源码分析系列」深入分析反射功能基础使用和原理
- 从零开始的异世界生信学习 linux部分 linux 基础---学习笔记-4 shell脚本编程
- MySQL基础及原理
- HarmonyOS实战[一]——原理概念介绍安装:基础篇
- Spring基础(三):IOC底层原理
- HTML基础
- MySQL数据库基础学习(三十)
- Blazor项目在VisualStudio调试时配置运行基础目录
- 【愚公系列】2023年03月 其他-Web前端基础面试题(数据结构和算法_8道)
- Solidity 智能合约开发 - 基础
- Linux基础:ubuntu如何开启22端口的实现
- Spark集群基础概念 与 spark架构原理详解大数据
- 谷歌自研Tensor手机SoC真身曝光:实为三星Exynos 9855基础上开发
- Linux基础视频教程:学习更快速的进阶之路(linux基础视频教程)
- MSSQL索引:提升查询效率的基础原理(mssql 索引原理)
- Oracle主从复制深入理解基础原理(oracle主从复制原理)
- 入门从零开始Oracle 11g入门指南(oracle11g零基础)
- Java语法基础之函数的使用说明