Eclipse上Hadoop插件中Run On Hadoop原理[转]
2023-09-27 14:25:06 时间
通过Eclipse的hadoop插件中的"run on hadoop"命令的原理:它不是把jar包发送到hadoop集群上去运行,而只是使用了hadoop集群上的hdfs,从hdfs中获取文件,至于执行,是执行你本地的hadoop包来运行你编写的MapReduce程序,所以Hadoop集群中不用启动YARN也可以运行。
因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程,一个简单的“run on hadoop”只是启动了本地hadoop类库来运行你的程序而已,在Hadoop cluster的web管理页面(http://192.168.2.2:8088/cluster/apps)上是看不到任何作业信息的,因为你的作业根本就没有运行在集群上。
相关文章
- jquery on
- HDU 4010 Query on The Trees
- 1095 Cars on Campus (30 分)【难 / 模拟 未完成】
- 1127 ZigZagging on a Tree (30 分)【难度: 一般 / 知识点: 根据中序遍历 后序遍历建树】
- 如何选择满足需求的SQL on Hadoop/Spark系统
- ORA-00845: MEMORY_TARGET not supported on this system
- SQL on Hadoop 的真相(1)
- Linkedin官方kafka性能压测-kafkaBenchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)
- Installing Supervisor and Superlance on CentOS
- spark on yarn模式:yarn命令杀除当前的application
- SQL Server 调优:set statistics profile on
- CREATE TABLE 语句后的 ON [PRIMARY] 起什么作用
- Uva10161 Ant on a Chessboard
- Odoo16 SyntaxError: Failed to execute ‘querySelectorAll‘ on ‘Element‘: ‘footer:not(field footer)‘ is
- [daily paper 7]2023 03 05 2011 109 CSX An Extended Compression Format for SpMV on Shared Memory Sys
- How To Setup Apache Hadoop On CentOS
- sql server-SET ANSI_NULLS ON SET QUOTED_IDENTIFIER ON