通过java读取HDFS的数据 (转)
2023-09-11 14:20:30 时间
原文链接:通过java读取HDFS的数据
通过JAVA直接读取HDFS中的时候,一定会用到FSDataInputStream类,通过FSDataInputStream以流的形式从HDFS读数据代码如下:
import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class FileReadFromHdfs { public static void main(String[] args) { try { String dsf = "hdfs://hadoop1:9000/tmp/wordcount/kkk.txt"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(dsf),conf); FSDataInputStream hdfsInStream = fs.open(new Path(dsf)); byte[] ioBuffer = new byte[1024]; int readLen = hdfsInStream.read(ioBuffer); while(readLen!=-1) { System.out.write(ioBuffer, 0, readLen); readLen = hdfsInStream.read(ioBuffer); } hdfsInStream.close(); fs.close(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
参考链接:
hadoop java操作hdfs
Java创建hdfs文件实例
利用HDFS、HBase的JavaAPI编程
相关文章
- 使用java读取json数据
- JAVA基础--Java枚举+位操作,巧妙判断是否设置
- CSDN日报191016:Java纯干货分享:史上最全的JAVA工程师面试题汇总
- 【Java】【异常排查】java.lang.NoClassDefFoundError 完美解决
- 《Java 开发从入门到精通》—— 2.4 Java的运行机制
- 《Java和Android开发实战详解》——1.4节搭建Java开发环境
- java throw
- java.lang.ClassNotFoundException: com.microsoft.jdbc.sqlserver.SQLServerDriver
- 《大规模Java平台虚拟化与调优》——2.3 Active-Active架构与现代化数据平台
- Java修改服务器(tomcat)响应头 Server:Apache-Coyote/1.1
- java的反射机制相关方法(未完)
- 【华为OD机试真题 java、python】产品最差奖【2022 Q4 200分】(100%通过+复盘思路)
- Java_类似java.lang.VerifyError: Expecting a stackmap frame at branch target 22 in method的解决方法
- java从mysql导出数据例子
- java实现阿里云rocketMQ消息的发送与消费(tcp协议sdk)
- 用java解析在OpenStreetMap上下载的地图数据(SAX版,适合比较大的xml文件)
- 用Java操纵HBase数据库(新建表,插入,删除,查找)
- Java数据存储机制的实现
- java基本类型和包装类型的区别以及object的公共方法
- Java中java.util.Arrays参考指南