怎样提高hbase的入库性能
2023-09-11 14:20:46 时间
hbase写数据首先先写入memstore。当memstore满64MB以后,会flush到disk上而成为storefile。当storefile数量超过3时,会启动compaction过程将它们合并为一个storefile。这个过程中会删除一些timestamp过期的数据。比方update的数据。而当合并后的storefile大小大于hfile默认最大值时。会触发split动作,将它切分成两个region。
1、改动hbase的BufferSize,并禁用hbase的自己主动提交功能。
table.setWriteBufferSize(1024*1024*10);
table.setAutoFlush(false);
2、禁用hbase的预写日志功能(WAL)。
p.setWriteToWAL(false); //p为已近add数据后的Put对象
3、为flush加入线程池,为compact加入线程池。同一时候凝视掉split部分;
4、将HBaseClient加入到RegoinServer的连接池。
參考:
相关文章
- phoenix一启动就会导致hbase节点全部挂掉
- HBase-0.90.4集群安装配置
- 什么时候才应该使用HBase?
- Hbase 学习(一) hbase配置文件同步
- Hbase 学习(七) rowkey设计
- Hbase 学习(十一)使用hive往hbase当中导入数据
- 解决关闭hdfs yarn spark hbase时no namenode to stop异常 no master to stop
- hbase hbck命令示例
- 使用CopyTable工具方法在线备份HBase表
- 【图文详解】深入理解 Hbase 架构 Deep Into HBase Architecture
- 手把手教你做用户画像——标签数据开发:用户画像工程化的重点模块,包含统计类、规则类、挖掘类、流式计算类标签的开发,标签相关数据可存储在Hive、MySQL、HBase、Elasticsearch等数据库中
- 都是 HBase 上的 SQL 引擎,Kylin 和 Phoenix 有什么不同?——Kylin 利用 MapReduce/Spark 将原始数据进行聚合计算,转成了 OLAP Cube 并加载到 HBase 中,以 Key-Value 的形式存储。Cube 按照时间范围划分为多个 segment,每个 segment 是一张 HBase 表,每张表会根据数据大小切分成多个 region
- HBase调优 | HBase 性能调优之内存篇
- 关闭HBase时 no hbase master found
- HBase(4):HBase API