HBase HFile与Prefix Compression内部实现全解--KeyValue格式

用户Id 职业 性别 tomcat hbase

zhh2009 码农 男 提patch打酱油 提patch打酱油

用户Id 职业 性别 tomcat ant

jdd1999 码神 男 创始人 创始人

从这个例子来看，用户的基本信息比较好确定，但是参与的开源项目不确定且在开源项目中扮演的角色也不确定，

所以用关系数据库不太好建表，因为不知道具体有多少列，也无法把相关的列归成一个组。

1.1 列族

HBase是一种基于列的数据库，相关的列可以归到一个列族(Column Family)，

每个列族中具体有哪些列不必事先知道，可以在需要的时候添加，比如在用户基本信息中为zhh2009加入email这样的列,

上例中”用户基本信息”和”参与的开源项目”可以作为两个列族，

不同的列族在HBase内部通常对应一个目录，这样不同的列值只会放到它所属的列族目录下。

1.2 rowKey

我们希望通过查询某个列就能把同一个列族或多个列族中的信息取出来，用户Id就是这样的列，

比如当我们要查询zhh2009的邮箱和参与的开源项目时，根据用户Id来查就不会查到jdd1999的信息，

在HBase中称这样的列为rowKey。

HBase是如何存放上例中的信息呢?

将用户Id这一列抽出来作为rowKey, 把上面的信息按如下格式扁平化:

<zhh2009, 用户基本信息, 职业 => 码农>
<zhh2009, 用户基本信息, 性别 => 男>
<zhh2009, 参与的开源项目, tomcat => 提patch打酱油>
<zhh2009, 参与的开源项目, hbase => 提patch打酱油>

<jdd1999, 用户基本信息, 职业 => 码神>
<jdd1999, 用户基本信息, 性别 => 男>
<jdd1999, 参与的开源项目, tomcat => 创始人>

<jdd1999, 参与的开源项目, ant => 创始人>

表1.2中的每一行在HBase中对应一个KeyValue，

“=>”左边的是KeyValue中的”Key”，”=>”右边对应KeyValue中的”Value”。

当然这只是KeyValue的一个简化格式，内部格式并非那么简单，我们接下来看看真实的KeyValue是怎样的?

2. KeyValue内部格式

KeyValue内部格式可以分成三部份: 头、Key、Value，如表2.1所示

keyLength　　 4 表示Key所占的总字节数
valueLength 4 表示Value所占的总字节数

rowKeyLength 2 表示rowKey所占的字节数
rowKey rowKeyLength rowKey
columnFamilyLength 1 表示列族名称所占的字节数
columnFamily columnFamilyLength 列族名称
columnName columnNameLength 列名
timestamp 8 时间戳
type 1 Key类型，比如是新增(Put)，还是删除(Delete)

value valueLength 列值

keyLength和valueLength组成头部，

rowKeyLength到type这7项组成Key，最后一项value代表第三部份: Value，

上面有个地方值得注意，在columnFamily前面有columnFamilyLength，

但是在columnName之前并没有columnNameLength这一项，为了节省空间，这不是必需的，

当在解析KeyValue时，通过keyLength-8(timestamp)-1(type)就可以确定columnName在此KeyValue中的结束位置。

把表1.2中的前两行按表2.1中的格式生成两个KeyValue:

KeyValue A 代表: <zhh2009, 用户基本信息, 职业 => 码农>

KeyValue B 代表: <zhh2009, 用户基本信息, 性别 => 男>

keyLength　　 4 35 35
valueLength 4 4 2