阿里云E-MapReduce Hadoop MapReduce 作业配置
2.单击该页右上角的创建作业,进入创建作业页面。
3.填写作业名称。
4.选择 Hadoop 作业类型。表示创建的作业是一个 Hadoop Mapreduce 作业。这种类型的作业,其后台实际上是通过以下的方式提交的 Hadoop 作业。
hadoop jar xxx.jar [MainClass] -Dxxx ....
5.在应用参数中填写提交该 job 需要提供的命令行参数。这里需要说明的是,这个选项框中需要填写的内容从 hadoop jar 后面的第一个参数开始填写。也就是说,选项框中第一个要填写的是运行该作业需要提供的 jar 包所在地址,然后后面紧跟 [MainClass] 以及其他用户可以自行提供的命令行参数。
举个例子,假设用户想要提交一个 Hadoop 的 sleep job,该 jo b不读写任何数据,只是提交一些 mapper 和 reducer task 到集群中,每个 task sleep 一段时间,然后 job 成功。在 Hadoop 中(hadoop-2.6.0 为例)以,该 job 被打包在 Hadoop 发行版的 hadoop-mapreduce-client-jobclient-2.6.0-tests.jar 中。那么,若是在命令行中提交该 job,则命令如下:
hadoop jar /path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep -m 3 -r 3 -mt 100 -rt 100
要在 E-MapReduce 中配置这个作业,那么作业配置页面的“应用参数”选项框中,需要填写的内容即为:
/path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep -m 3 -r 3 -mt 100 -rt 100
需要注意的是,这里用的 jar 包路径是 E-MapReduce 宿主机上的一个绝对路径,这种方式有一个问题,就是用户可能会将这些 jar 包放置在任何位置,而且随着集群的创建和释放,这些 jar 包也会跟着释放而变得不可用。所以,请使用以下方法:
用户将自己的 jar 包上传到 OSS 的 bucket 中进行存储,当配置 Hadoop 的参数时,单击选择 OSS 路径,从 OSS 目录中进行选择要执行的 jar 包。系统会为用户自动补齐 jar 包所在的 OSS 地址。请务必将代码的 jar 的前缀切换为 ossref (单击切换资源类型),以保证这个 jar 包会被 E-MapReduce 正确下载。
单击确定,该 jar 包所在的 OSS 路径地址就会自动填充到“应用参数”选项框中。作业提交的时候,系统能够根据这个路径地址自动从 OSS 找到相应的 jar 包。
在该 OSS 的 jar 包路径后面,即可进一步填写作业运行的其他命令行参数。
6.选择执行失败后策略。
7.单击确认,作业配置即定义完成。
上面的例子中,sleep job 并没有数据的输入输出,如果作业要读取数据,并输出处理结果(比如 wordcount),则需要指定数据的 input 路径和 output 路径。用户可以读写 E-MapReduce 集群 HDFS 上的数据,同样也可以读写 OSS 上的数据。如果需要读写 OSS 上的数据,只需要在填写 input 路径和 output 路径时,数据路径写成 OSS 上的路径地址即可,例如:
jar ossref://emr/checklist/jars/chengtao/hadoop/hadoop-mapreduce-examples-2.6.0.jar randomtextwriter -D mapreduce.randomtextwriter.totalbytes=320000 oss://emr/checklist/data/chengtao/hadoop/Wordcount/Input
阿里云ECS服务器配置选择全攻略 阿里云ECS服务器配置选择全攻略,2023阿里云服务器选购流程更新,选购云服务器有两个入口,一个是选择活动机,只需要选择云服务器地域、系统、带宽即可;另一个是在云服务器页面,自定义选择云服务器配置,这种方式购买云服务器较为复杂,需要选付费方式、地域及可用区、ECS实例规格、镜像、网络、公网IP、安全组等配置,阿里云百科来阿里云服务器购买流程指南2023新版教程:
阿里云2核8G配置云服务器可选实例规格及最新价格和收费标准参考 阿里云2核8G服务器有共享标准型s6、通用型 g8i、通用型 g7、高主频通用型 hfg6等20多种实例规格可选,实例规格不同,收费标准与活动价格也不同,目前阿里云通用型g7和通用算力型u1实例2核8G云服务器有优惠,最低价仅需932.40元1年,本文为大家介绍一下阿里云服务器2核8G配置可选实例规格和收费标准及最新活动报价,以供大家参考。
阿里云2核4G和4核8G配置云服务器最新优惠价格分享 阿里云2核4G和4核8G配置云服务器多少钱?目前2核4G配置的最低活动价格是297.98元1年,4核8G配置的最低活动价格是1367.86元1年,下面是小编特意整理的目前这两个配置的官方活动价格,以供选择参考。
阿里云2核4G配置云服务器优惠价格表(最新更新) 阿里云服务器2核4G配置多少钱?阿里云2核4G云服务器优惠价格更新了,目前2核4G配置价格最低的是轻量应用服务器,优惠价格只要297.98元1年,平均到每天只要0.81元,而云服务器ECS2核4G配置优惠价格最低的是通用算力型u1实例,优惠价格只要761.33元1年。小编分享2023年截至目前阿里云2核4G配置云服务器的最新优惠价格表∶
阿里云轻量应用服务器优惠2核4G配置196元一年 阿里云轻量应用服务器2核4G4M带宽60GB高效云盘优惠价196元一年,2核2G3M带宽配置一年优惠价99元,阿里云百科分享阿里云轻量应用服务器2核4G详细配置、优惠价格、购买条件及性能评测:
相关文章
- Druid配置参数详解-validationQuery
- Hadoop-HA配置详细步骤
- Hadoop框架:HDFS高可用环境配置
- centos安装配置hadoop超详细过程(含故障排除)
- centos安装配置hadoop超详细过程(含故障排除)
- 深入理解Spark:核心思想与源码分析. 3.5 Hadoop相关配置及Executor环境变量
- Linux系统消息队列框架Kafka单机安装配置
- 腾讯云nginx配置https证书
- HDFS Federation客户端(viewfs)配置攻略
- Linux下配置Hadoop伪分布式环境
- 【大数据】Hadoop单机安装配置
- Docker 安装配置Tomcat
- 《HBase管理指南》一1.8 Hadoop/ZooKeeper/HBase基本配置
- Shiro自定义登录页面配置,Shiro默认登录页面
- Hadoop 伪分布式安装配置
- hadoop dfs.datanode.du.reserved 预留空间配置方法
- VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群
- 浅析 vite.config.js 常见基础配置及本地打包解决Cross origin requests are only supported for protocol schemes的问题
- 关于webpack配置webpack-dev-server 报错问题。Error: Cannot find module 'webpack-cli/bin/config-yargs'
- 华为ENSP路由相关配置
- [Android] 环境优化配置Android Studio发展NDK
- 【Hadoop】:配置出错error出现:Stop it first
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
- 【大数据】Hadoop完全分布式配置(超详细)
- 独立专注的CMDB,脱离了上层依赖,实现动态、高效的配置信息的读写交互
- CentOS8 配置本地 yum 源的详细教程