hadoop入门:hadoop使用shell命令总结详解大数据
第一部分:Hadoop Bin
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES( hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。
HADOOP_SLAVES( hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
stop-all.sh 停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh 停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作
nHadoop shell
包括:
namenode -format format the DFS filesystem secondarynamenode run the DFS secondary namenode namenode run the DFS namenode datanode run a DFS datanode dfsadmin run a DFS admin client mradmin run a Map-Reduce admin client fsck run a DFS filesystem checking utility fs run a generic filesystem user client balancer run a cluster balancing utility fetchdt fetch delegation token from the NameNode jobtracker run the MapReduce job Tracker node pipes run a Pipes job tasktracker run a MapReduce task Tracker node historyserver run job history servers as a standalone daemon job manipulate MapReduce jobs queue get information regarding JobQueues version print the version jar jar run a jar file distcp srcurl desturl copy file or directories recursively archive -archiveName NAME -p parent path src * dest create a hadoop archive classpath prints the class path needed to get the Hadoop jar and the required libraries daemonlog get/set the log level for each daemon CLASSNAME run the class named CLASSNAME
复制代码
推荐文章:
Hadoop Shell命令字典(可收藏)
文章转自:http://www.aboutyun.com/thread-6742-1-1.html
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/9592.html
分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集相关文章
- 格式化hdfs的命令_hadoop的启动命令
- hdfs解决什么问题_hadoop命令和hdfs命令区别
- Hadoop 使用Linux操作系统与Java熟悉常用的HDFS操作
- 2022年Hadoop面试题最全整理,两万字干货分享【建议收藏】
- hadoop常用的命令
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04详解大数据
- hadoop处理Excel通话记录详解大数据
- Hadoop综合练习第七节–Hive部署测试(含MySql部署)详解大数据
- Eclipse搭建Hadoop开发环境二三事详解大数据
- 除Hadoop外你还需要知道的9个大数据技术详解大数据
- Hadoop-调优剖析详解大数据
- 高可用Hadoop平台-实战详解大数据
- reduce hadoop利用MySQL、MapReduce、Hadoop轻松解决大数据问题(mysqlmap)
- 运行Linux下Hadoop强劲运行:实现数据分析的奇迹(linux下hadoop)
- Linux下快速启动Hadoop集群(linux启动hadoop)
- Redis与Hadoop:让数据变得更加简单(redis与hadoop)
- Hadoop入门扫盲:hadoop发行版介绍与选择
- Linux系统上安装Hadoop环境讲解(linux安装hadoop)
- MySQL与Hadoop:构建强大的数据分析基石(mysql和Hadoop)
- Linux下创建Hadoop用户指南(linux创建hadoop用户)
- 利用neo4j和Hadoop构建知识图谱(neo4j hadoop)
- CDH实现MySQL和Hadoop的互通(cdh配置mysql)