提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  大数据

当前栏目

hadoop hdfs命令 脚本源码_hadoop启动hdfs命令

hadoop源码命令HDFS 启动 脚本
2023-06-13 09:14:59 时间

大家好，又见面了，我是你们的朋友全栈君。

hadoop集群搭建好之后，通过HDFS命令操作HDFS分布式文件系统，HDFS命令与linux命令类似

所有命令有/bin/hadoop脚本引发，可以使用命令查看帮助文档

hadoop fs-help

使用HDFS命令之前，必须启动hadoop集群，且命令执行在master节点上

hadoop常用命令

格式：

hadoop fs -命令 [-选项] [文件/目录]

命令

说明

补充

hadoop fs -mkdir

创建HDFS目录

-p选项，可以一次性创建多级目录

hadoop fs -ls

列出HDFS目录

-R选项，查看目录下所有的文件（递归Recursive)hadoop fs –ls /查看HDFS根目录hadoop fs –ls –R /查看HDFS所有子目录

hadoop fs -copyFromLocal

上传本地文件到HDFS

-f选项，强制复制（存在则替换文件）

hadoop fs -put

上传本地文件到HDFS

-f选项，强制复制（存在则替换文件），特别的可以写入内容

hadoop fs -copyToLocal

将HDFS文件下载到本地

hadoop fs -get

将HDFS文件下载到本地

hadoop fs -cp

复制HDFS文件

hadoop fs -rm

删除HDFS文件

-R选项，删除目录

hadoop fs -cat

查看HDFS目录下的文件内容

（只有文本文件的内容可以查看，其它类型会乱码）hadoop fs –test查看文件hadoop fs –tail查看文件

Linux本机和HDFS之间文件传输

即虚拟机的linux系统的文件与hadoop的HDFS分布式系统的文件之间的文件共享

上传文件（linux—>hdfs）

hadoop fs -copyFromLocal [linux] [hdfs] hadoop fs -put [linux] [hdfs]

可以进行文件重命名 hdfs没有写文件名，默认为原来的命名 linux上传的文件必须存在 hdfs已经存在文件，不会上传，使用下面选项，强制上传 -f选项，强制复制（存在则替换文件） 可以上传多个文件 可以上传目录

-put命令，还可以接收输入stdin

将指定内容显示在屏幕上：echo [内容] 通过”|”（管道符pipe）将屏幕的内容传递存入文件（存入文件不能已经存在） 例：（注意有-put命令后还有 – ） echo abc | hadoop fs -put – /test/echoin.txt ls ./hadoop—/etc/hadoop | hadoop fs -put – /test/hadoopetc.txt

文件下载（hdfs—>linux）

hadoop fs -copyToLocal [hdfs] [linux] hadoop fs -get [hdfs] [linux]

可以进行文件重命名 hdfs下载的文件必须存在 可以下载目录

linux命令

命令

说明

cd 目录

进入目录(.表示当前目录，…表示上层目录)

ls [选项] 目录或文件

列出目录[-l -a -R -d -i -h]

cat [选项] 文件名

查看文件内容[-n -b -s]

mkdir [选项] 目录名

创建文件夹[-p]

rm [选项] 文件或目录

删除文件夹[-f -r -i]

cp [选项] 源文件或目录 目标文件或目录

复制文件夹[-p -f -r -i]

mv [选项] 源文件或目录 目标文件或目录

移动文件夹[-f -i -u]

pwd

显示当前工作目录的绝对路径

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/185740.html原文链接：https://javaforall.cn

相关文章