您现在的位置是：首页 > 其他

当前栏目

hadoop java文件_使用java api操作Hadoop文件

文件程序 HDFS

2023-03-02 11:48:32 时间

1. 概述

2. 文件操作

2.1  上传本地文件到hadoop fs

2.2 在hadoop fs中新建文件，并写入

2.3 删除hadoop fs上的文件

2.4  读取文件

3. 目录操作

3.1 在hadoop fs上创建目录

3.2 删除目录

3.3 读取某个目录下的所有文件

4. 参考资料接代码下载

<1>. 概述

hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中，这些api能够支持的操作包含：打开文件，读写文件，删除文件等。

hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：

static FileSystem get(Configuration conf);

该类封装了几乎所有的文件操作,例如mkdir，delete等。综上基本上可以得出操作文件的程序库框架：

operator()

得到Configuration对象

得到FileSystem对象

进行文件操作

另外需要注意的是，如果想要运行下面的程序的话，需要将程序达成jar包，然后通过hadoop jar的形式运行，这种方法比较麻烦，另外一种方法就是安装eclipse的hadoop插件，这样能够很多打包的时间。

<1>. 文件操作

1.1 上传本地文件到文件系统

/\*\* upload the local file to the hds

\* notice that the path is full like /tmp/test.c\*/publicstaticvoiduploadLocalFile2HDFS(String s, String d)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

Path src=newPath(s);

Path dst=newPath(d);

hdfs.copyFromLocalFile(src, dst);

hdfs.close();

1.2 创建新文件，并写入

/\*

\* create a new file in the hdfs.

\* notice that the toCreateFilePath is the full path

\* and write the content to the hdfs file.

\*/publicstaticvoidcreateNewHDFSFile(String toCreateFilePath, String content)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

FSDataOutputStream os=hdfs.create(newPath(toCreateFilePath));

os.write(content.getBytes("UTF-8"));

os.close();

hdfs.close();

1.3 删除文件

/\*     \* delete the hdfs file

\* notice that the dst is the full path name\*/publicstaticbooleandeleteHDFSFile(String dst)throwsIOException

Configuration config=newConfiguration();

FileSystem hdfs=FileSystem.get(config);

Path path=newPath(dst);booleanisDeleted=hdfs.delete(path);

hdfs.close();returnisDeleted;

1.4  读取文件

/\*\* read the hdfs file content\* notice that the dst is the full path name

\*/publicstaticbyte\[\] readHDFSFile(String dst)throwsException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);//check if the file existsPath path=newPath(dst);if( fs.exists(path) )

FSDataInputStream is=fs.open(path);//get the file info to create the bufferFileStatus stat=fs.getFileStatus(path);//create the bufferbyte\[\] buffer=newbyte\[Integer.parseInt(String.valueOf(stat.getLen()))\];

is.readFully(0, buffer);

is.close();

fs.close();returnbuffer;

\}else\{thrownewException("the file is not found .");

<2>. 目录操作

2.1 创建目录

/\*\* make a new dir in the hdfs\*

\* the dir may like '/tmp/testdir'

\*/publicstaticvoidmkdir(String dir)throwsIOException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);

fs.mkdirs(newPath(dir));

fs.close();

2.2 删除目录

/\*\* delete a dir in the hdfs

\* dir may like '/tmp/testdir'\*/publicstaticvoiddeleteDir(String dir)throwsIOException

Configuration conf=newConfiguration();

FileSystem fs=FileSystem.get(conf);

fs.delete(newPath(dir));

fs.close();

2.3 读取某个目录下的所有文件

public static voidlistAll(String dir)throwsIOException

Configuration conf =newConfiguration();

FileSystem fs=FileSystem.get(conf);

FileStatus\[\] stats=fs.listStatus(newPath(dir));for(inti=0; i

\{if(stats\[i\].isFile())

\{//regular fileSystem.out.println(stats\[i\].getPath().toString());

\}elseif(stats\[i\].isDirectory())

\{//dirSystem.out.println(stats\[i\].getPath().toString());

\}elseif(stats\[i\].isSymlink())

\{//is s symlink in linuxSystem.out.println(stats\[i\].getPath().toString());

fs.close();

<4>. 参考资料及代码下载

注意的是如果是操作hdfs上文件的话，需要将hadoop-core和common-log的jar包添加到classpath中，在本地运行，如果是mapreduce程序的话，需要将程序打成jar包，之后上传到hdfs上，才能运行。

猜你喜欢

前端学做 PPT
低代码系列 —— 初步认识低代码
数字格式化的 js 库
前端学习 linux —— shell 编程
前端学习 linux —— 第一篇
内网 Ubuntu 20.04 搭建 docusaurus 项目（或前端项目）的环境（mobaxterm、tigervnc、nfs、node）
网址记录
Mobaxterm
低代码系列—— 初步认识 Appsmith
react实战系列 —— 我的仪表盘（bizcharts、antd、moment）
react实战系列 —— 起步（mockjs、第一个模块、docusaurus）
对话录
react实战系列
七天接手react项目系列 —— 尾篇（antd 和 mobx）
七天接手react项目系列 —— react 路由
七天接手react项目系列 —— react 脚手架创建项目
七天接手react项目系列
七天接手react项目系列 —— state&事件处理&ref
七天接手react项目系列 —— react 起步
DevOps 前端开发和 Spug

zl程序教程

当前栏目

hadoop java文件_使用java api操作Hadoop文件

相关文章