HDFS常用命令操作时
1、创建目录
创建单层目录
执行命令:hdfs dfs -mkdir /ied
利用Hadoop WebUI查看创建的目录
创建多层目录,执行命令:hdfs dfs -mkdir /luzhou/lzy
,会报错,因为/luzhou
目录不存在
可以先创建/luzhou
目录,然后在里面再创建lzy
子目录,但是也可以一步到位,需要一个-p
参数
执行命令:hdfs dfs -mkdir -p /luzhou/lzy
利用Hadoop WebUI查看创建的多层目录
2、查看目录
执行命令:hdfs dfs -ls /
,查看根目录
执行命令:hdfs dfs -ls /luzhou
查看根目录里全部的资源,要用到地柜参数-R
(必须大写),执行命令:hdfs dfs -ls -R /
3、上传本地文件到HDFS
创建test.txt
文件,执行命令:echo "hello hadoop world" > test.txt
查看test.txt
文件内容
上传test.txt
文件到HDFS的/ied
目录,执行命令:hdfs dfs -put test.txt /ied
查看是否上传成功
利用Hadoop WebUI界面查看
4、查看文件内容
执行命令:hdfs dfs -cat /ied/test.txt
5、下载HDFS文件到本地
先删除本地的test.txt
文件
下载HDFS文件系统的/ied/test.txt
到本地当前目录不改名,执行命令:hdfs dfs -get /ied/test.txt,检测是否下载成功
可以将HDFS上的文件下载到本地指定位置,并且可以更改文件名
执行命令:hdfs dfs -get /ied/test.txt /home/exam.txt
检查是否下载成功
6、删除HDFS文件
执行命令:hdfs dfs -rm /ied/test.txt
检查是否删除成功
使用通配符,可以删除满足一定特征的文件
7、删除HDFS目录
执行命令:hdfs dfs -rmdir /luzhou
提示-rmdir
命令删除不了非空目录,要递归删除才能删除非空目录:hdfs dfs -rm -r /luzhou
删除空目录/BigData
,执行命令:hdfs dfs -rmdir /BigData
8、移动目录或文件
-mv
命令兼有移动与改名的双重功能
将/ied
目录更名为/ied01
,执行命令:hdfs dfs -mv /ied /ied01
利用Hadoop WebUI查看是否更名成功
将/ied01/exam.txt
更名为/ied/test.txt
,执行命令:hdfs dfs -mv /ied01/exam.txt /ied01/test.txt
查看改名后的test.txt
文件内容
9、文件合并下载
现在/ied01
里有一个test.txt
,创建sport.txt
和music.txt
并上传
合并/ied01
目录的文件下载到本地当前目录的merger.txt
,执行命令:hdfs dfs -getmerge /ied01/* merger.txt
查看本地的merger.txt
,看是不是三个文件合并后的内容
merger.txt
是music.txt
、sport.txt
与test.txt
合并后的结果
10、检查文件信息
检查test.txt
文件,执行命令:hdfs fsck /ied01/test.txt -files -blocks -locations -racks
相关文章
- python else在循环语句执行的情况
- python类属性的概念
- python中ThreadPoolExecutor如何使用
- python scrapy.Request发送请求的方式
- 怎么删除anaconda虚拟环境
- python怎么判断一个数是几位数
- python中 *= 是什么意思
- python立方怎么表示
- python代码如何运行
- python根号如何表示
- mongodb $push 重复怎么办
- python如何导出数据到excel文件
- 怎么在anaconda中卸载环境
- IP地址的分类介绍
- python中如何输出空格?
- python如何使用def关键字
- python怎么安装第三方库
- pycharm与python的区别
- mongodb出现错误1053怎么解决
- ps中如何进行像素和厘米转换