hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢？ 这种情况该如何优化？
2023-09-11 14:14:47 时间
大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下：
hbase.hregion.memstore.flush.size=256M
每台redionserver上有region数量2000+个
每台regionserver的HBASE_HEAPSIZE设置为24G
每个RS上memstore3G
每次flush的时候 memstore才10m以内 增加的filesize才几百kb。
单台redionserver上的region数量太多了， memstore总和达到阈值导致不断flush，官方建议最多1000个
hbase.hregion.memstore.mslab.chunksize。 默认2M的话，光2000region就要小4G内存了
相关文章
- HBase-scan简介及优化(缓存与批量处理)
- 数据仓库组件：HBase集群环境搭建和应用案例
- HBase参数调优
- HBase异常 -- KeeperErrorCode = ConnectionLoss for /hbase/hbaseid（单机）
- HBase内部操作日志说明
- 95 hbase命令
- Hbase建模
- 《HBase实战》一第一部分 HBase基础
- 构建HBase二级索引
- Hbase数据模型 时间戳
- hbase-indexer官网wiki
- 《HBase企业应用开发实战》—— 第3章 数 据 模 型
- 基于Hbase的微博案例
- HBase总结（十八）Hbase rowkey设计一
- 【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档
- HBase truncate的问题导致数据写入慢
- HBase管理、分析、修复和调试的自带工具hbck、hfile