hadoop 自定义TextPair和使用原理
2023-09-14 09:07:36 时间
1.hadoop TextPair组合键定义
package Temperature; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class TextPair implements WritableComparable<TextPair> { private Text first; private Text second; public TextPair() { set(new Text(),new Text());//基本类型int,long等可以不用初始化,但是对象类型变量一定要new,因为反序列化是要读取数据到first和second,会出现空指针引用的问题。 } public TextPair(String first, String second) { set(new Text(first),new Text(second)); } public TextPair(Text first, Text second) { set(first, second); } public void set(Text first, Text second) { this.first = first; this.second = second; } public Text getFirst() { return first; } public Text getSecond() { return second; } @Override public void write(DataOutput out)throws IOException { first.write(out); second.write(out); } @Override public void readFields(DataInput in)throws IOException { first.readFields(in); second.readFields(in); } @Override public int hashCode() { return first.hashCode() *163+ second.hashCode(); } @Override public boolean equals(Object o) { if(o instanceof TextPair) { TextPair tp = (TextPair) o; return first.equals(tp.first) && second.equals(tp.second); } return false; } @Override public String toString() { return first +"\t"+ second; } public int compareTo(TextPair tp) { int cmp = first.compareTo(tp.first); if(cmp !=0) { return cmp; } return second.compareTo(tp.second); } }
具体使用实例见我的下一篇博客
https://www.cnblogs.com/bclshuai/p/12319490.html
自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取:
相关文章
- 试述Hadoop的HDFS及其组成_hadoop命令和hdfs命令区别
- 关于Apache Hadoop权限提升漏洞(CNVD-2022-51055)
- HADOOP生态圈知识概述
- Hadoop伪分布式搭建
- Hadoop大数据技术课程设计说明
- 快速搭建Hadoop
- Hadoop学习总结之四:Map-Reduce的过程解析详解大数据
- Hadoop部署启动异常问题排查详解大数据
- 大数据分析系统Hadoop的13个开源工具详解大数据
- Hadoop与Spark之间的比较详解大数据
- 【Hadoop基础】hadoop fs 命令详解大数据
- hadoop data 相关开源项目(近期学习计划)详解大数据
- 运行Linux下Hadoop强劲运行:实现数据分析的奇迹(linux下hadoop)
- Debian下安装配置 Hadoop 3.1.3 集群
- Linux系统下安装配置Hadoop(linux下安装hadoop)
- MySQL与Hadoop:改善数据处理效率(mysql与hadoop)