hadoop CLASSNAME命令使用注意点
2023-09-27 14:20:57 时间
Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。
使用hadoop CLASSNAM之前,你需要设置HADOOP_CLASSPATH.
- export HADOOP_CLASSPATH=/home/hadoop/jardir/*.jar:/home/hadoop/workspace/hdfstest/bin/
其中/home/hadoop/jardir/包含了我所有的hadoop的jar包。
/home/hadoop/workspace/hdfstest/bin/就是我的开发class的所在目录,我使用eclipse写java开发,由于eclipse有自动编译的功能,写好之后,就可以直接在命令行运行hadoop CLASSNAME的命令:
- hadoop FileSystemDoubleCat hdfs://Hadoop:8020/xstartup
你同样可以将你的工程打成runable jar包(将所有的jar包打包)。
然后运行hadoop jar jar包名 类型 参数1 。
每一次都要打成jar包,这对于测试来说极不方便的。。。
相关文章
- 教你用Python 编写 Hadoop MapReduce 程序
- 【科普杂谈】一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了
- 大数据-Hadoop-HDFS(三):NameNode(NN)、SecondaryNameNode(2NN)
- Hadoop+数据仓库到底是梦幻组合还是命中的宿敌?
- 大数据除了Hadoop,还有Scrapy
- Hadoop命令摘录
- Hadoop 集群搭建
- Data Replication in a Multi-Cloud Environment using Hadoop & Peer-to-Peer technologies
- 【大数据】了解Hadoop框架的基础知识
- 《Spark与Hadoop大数据分析》——3.1 启动 Spark 守护进程
- hadoop集群之HDFS和YARN启动和停止命令
- 【Hadoop】Hadoop DataNode节点超时时间设置
- 【Hadoop】Hadoop 中 RPC框架原理、代码示例
- 【Hadoop】Hadoop MR 自定义序列化类
- Hadoop创建/删除文件夹出错
- Hadoop Shell命令
- Hadoop/spark安装实战(系列篇1)准备安装包
- 生产环境实战spark (7)分布式集群 5台设备 Hadoop集群安装
- hadoop学习要点
- Hadoop及HIVE学习宝典收集
- hadoop删除节点和添加节点