大数据学习——下载集群根目录下的文件到E盘
2023-09-11 14:18:37 时间
代码如下:
package cn.itcast.hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class TestHDFS { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); //伪造root用户身份 System.setProperty("HADOOP_USER_NAME","root"); //1首先需要一个hdfs的客户端对象 conf.set("fs.defaultFS", "hdfs://mini1:9000"); FileSystem fs = FileSystem.get(conf); fs.copyToLocalFile( new Path("/hello.txt"),new Path("E://")); fs.close(); } }
此时会报空指针异常
修改后代码如下:
package cn.itcast.hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class TestHDFS { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); //伪造root用户身份 System.setProperty("HADOOP_USER_NAME", "root"); //1首先需要一个hdfs的客户端对象 conf.set("fs.defaultFS", "hdfs://mini1:9000"); FileSystem fs = FileSystem.get(conf); // fs.copyToLocalFile( new Path("/hello.txt"),new Path("E://")); fs.copyToLocalFile(false, new Path("/hello.txt"), new Path("E://"), true); fs.close(); } }
注意,出现以上的问题是没有配环境变量造成的
window下开发的说明
建议在linux下进行hadoop应用的开发,不会存在兼容性问题。如在window上做客户端应用开发,需要设置以下环境:
A、用老师给的windows平台下编译的hadoop安装包解压一份到windows的任意一个目录下
B、在window系统中配置HADOOP_HOME指向你解压的安装包目录
C、在windows系统的path变量中加入HADOOP_HOME的bin目录
相关文章
- C语言之fileno()函数--获取已经打开的文件的文件描述符(小技巧)
- 文件的权限查看
- Foundation框架和文件操作
- 记一次CDH集群节点日志文件清理
- 申请删除集群文件hdfs
- windows python flask读取文件数据并返回表格
- 微信公众号平台上传文件返回错误代码:40005 invalid file type
- VMware vCenter Server 任意文件读取漏洞通告
- records.config文件配置模板
- 《循序渐进Linux(第2版) 基础知识 服务器搭建 系统管理 性能调优 虚拟化与集群应用》——4.3 文件管理与编辑
- nfs 小文件及高并发场景下客户端使用卡顿
- python第三周文件处理和函数-----下
- hadoop 集群及hbase集群的pid文件存放位置
- 微擎配置业务菜单入口文件
- 血淋淋的事实告诉你:你为什么不应该在JS文件中保存敏感信息