zl程序教程

您现在的位置是:首页 >  大数据

当前栏目

hadoop入门:hadoop使用shell命令总结详解大数据

hadoop命令数据入门shell 使用 详解 总结
2023-06-13 09:20:27 时间

第一部分:Hadoop Bin
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
   HADOOP_HOME(hadoop的安装目录)。
   HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES( hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
   HADOOP_HOME(hadoop的安装目录)。
   HADOOP_CONF_DIR(hadoop的配置文件目录)。
   HADOOP_SLAVES( hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh    启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
stop-all.sh   停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh   停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作

nHadoop shell
 包括:


namenode -format   format the DFS filesystem secondarynamenode    run the DFS secondary namenode namenode          run the DFS namenode datanode          run a DFS datanode dfsadmin          run a DFS admin client mradmin         run a Map-Reduce admin client fsck           run a DFS filesystem checking utility fs              run a generic filesystem user client balancer          run a cluster balancing utility fetchdt         fetch delegation token from the NameNode jobtracker       run the MapReduce job Tracker node pipes            run a Pipes job tasktracker        run a MapReduce task Tracker node historyserver     run job history servers as a standalone daemon job             manipulate MapReduce jobs queue            get information regarding JobQueues version         print the version jar jar          run a jar file distcp srcurl desturl copy file or directories recursively archive -archiveName NAME -p parent path src * dest create a hadoop archive classpath         prints the class path needed to get the                    Hadoop jar and the required libraries daemonlog         get/set the log level for each daemon CLASSNAME         run the class named CLASSNAME

复制代码

推荐文章:
Hadoop Shell命令字典(可收藏)

文章转自:http://www.aboutyun.com/thread-6742-1-1.html

 

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/9592.html

分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集