您现在的位置是:首页 >
当前栏目
DataNode发生full GC优化及建议
优化 建议 发生 GC full DataNode
2023-06-13 09:11:43 时间
问题描述:DataNode进程发生full GC
问题现象:emr控制台“集群监控”-->“集群事件”里会出现“ DataNode 发生full GC ”的告警事件
原因:
- 该节点DataNode实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
可能影响:
- DataNode进程的垃圾回收时间过长,可能影响该DataNode进程正常提供服务。
处理建议:
1. 在EMR控制台“集群服务”下,点击“HDFS”进入HDFS服务管理列表,切到“配置管理”页签,修改hadoop-env.sh中的“DNHeapsize”配置项,单个DataNode实例平均Block数量和DataNode内存的对应关系参考值如下:
单个DataNode实例平均Block数量达到2,000,000,DataNode的JVM参数参考值为:-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M
单个DataNode实例平均Block数量达到5,000,000,DataNode的JVM参数参考值为:-Xms12G -Xmx12G -XX:NewSize=1G -XX:MaxNewSize=1G
PS:如需了解和配置监控指标及事件告警可参考下列文档:
相关文章
- IDEA优化内存配置,可提高启动和运行速度(亲测有效)「建议收藏」
- TCP协议的优化方法「建议收藏」
- oracle insert优化「建议收藏」
- 深度学习优化策略—权重、权重初始化与权重衰减「建议收藏」
- Flink SQL 优化
- Effective Python 优化Python的90条建议 第1章 思维导图
- Effective Python 优化Python的90条建议 第2章 列表和字典 思维导图
- SEO优化
- ES三周年:从初体验到个人优化建议
- 数据库提升性能:优化OLTP Oracle数据库(oltporacle)
- MySQL优化写入技巧(mysql写入优化)
- 技巧SQL优化:挖掘MySQL的潜在技巧(sql优化mysql)
- 【城市交通】如何实现交通的自优化闭环?
- Mysql数据库目录:管理优化你的数据库(mysql数据目录)
- Oracle TP:密码解决方案及优化建议(oracletp)
- MSSQL语句长度分析:优化性能的重要建议(mssql语句长度)
- Oracle内存优化建议指南(oracle 内存 建议)
- 的几个关键字该如何优化MySQL三表查询后面关键字优化建议(MySQL三表查询后面)
- Oracle数据库查询优化专家给出的建议(oracle优化查询建议)
- Oracle数据库性能最佳化建议研究(oracle 优化建议)
- ASP.NET性能优化八条建议
- MySQLSQL语句优化的10条建议
- MySQL优化之表结构优化的5大建议(数据类型选择讲的很好)
- JS对img标签进行优化使用onerror显示默认图像