Solr JVM&运维
性能优先,建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察!
3. newSize maxnewsize 尽量小 并且值相同,PermSize 与maxPermSize
值也相等,尽量小
4core、8g 在1024m左右既可以
4.xms xmx 值相等,能小尽量小,节省内存给额外进程。单进程,不妨开大些
8g memory分配jvm在6g左右既可以
5.solr cache的参数配置,务必谨慎
cache参数只针对一个cache对象而说,而searcherhanlder层的cache无法控制上限,往往导致oom
fieldvaluecache 的配置和warm 对内存消耗、性能影响比较明显
filtecache docuementcache 明显与查询请求特征相关
如果请求量足够大,建议不配置cache,系统自身在 快的过程中 省出内存
6.句柄追踪
/usr/sbin/lsof | grep deleted
solr 句柄发生点:索引同步、索引core切换
7.load追踪
死循环导致load高,top shift+h; heap导出
由前者发现load高线程id,由后者发现那个方法不对劲
但是top不一定准确,不妨一试,最好dump出内存分析。参考文章
http://religiose.iteye.com/blog/1488806
索引查询导致:与内存、cache配置有关、数据总量是硬关联
在线全量、在线索引合并load也会增高
句柄导致load增高
swap区大量使用
计算密集load增高,例如facet、group的内存计算
8. 超时追踪
querylog解析,提前超时log,按时间分类。超时点:切换core、增量点两处,以及复杂查询。
9.所有参数都监控起来,包括disk、memory、solrcore、query超时等。
【大数据开发运维解决方案】Solr公共读写调优建议 Solr是一个开源搜索平台,用于构建搜索应用程序。 是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的,快速的和高度可扩展的。 用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。
【大数据开发运维解决方案】ElasticSearc写入查询性能优化总结 ES(ElasticSearch) 我们需要根据公司要求,进行偏向性的优化。1、bulk批量写入2、多线程写入3、修改索引刷新时间4、修改merge参数以及线程数6、index buffer7、磁盘间的任务均衡8、Mapping优化8.1、自动生成docID(避免ES对自定义ID验证的操作) 8.2、调整字段Mapping 8.3、调整_source字段 8.4、禁用_all 8.5、禁用Norms 8.6、index_options设置 9、优化存储
Elasticsearch 开发运维实战核心 Tips Elasticsearch基础但非常重要的功能还有哪些? 0,有安全比裸奔重要! 1,模板template比mapping重要。 2,显式映射 strict mapping比隐式mapping重要! 3,别名重要! 4,结合业务选择甚至自定义分词器比使用默认重要! 请留言写下您的思考。 https://t.zsxq.com/MrjQrfM
《阿里巴巴MongoDB4.0高级实战:基于Java Spring Boot 2.0》运维、监控、聚合、集群、监控等高级面试题 《阿里巴巴MongoDB4.0高级实战》阿里巴巴技术大牛 资深专家P9叶翔、专家徐雷. NoSQL排名第一!最流行的NoSQL数据库;谷歌、阿里巴巴、蚂蚁金服、腾讯、百度等一线互联网公司必备技能。
相关文章
- JVM初探(一):jvm内存结构[通俗易懂]
- 几条「业务测试工程师」的观察&思考
- 也许有用(也谈VC中ModifyStyle&ModifyStyleEx无法改变控件的Style)[通俗易懂]
- 【Flutter桌面篇】Flutter&Windows应用尝鲜
- ES 字符过滤器&令牌过滤器
- 7 Papers & Radios | 国产数据库入选顶会VLDB 2022;一句话生成高清360度场景和光照
- 【React】组件&事件
- Sentinel AMP DDOS攻击.c
- 参数Linux下修改JVM参数的指南(linux修改jvm)
- Oracle宣布JVM规范化(jvm规范oracle)
- Oracle控制下的JVM开启新的技术时代(jvm受oracle控制)
- 如何增加Oracle数据库的AMP值(amp值oracle)
- AMP与Oracle结合提升数据库性能($amp oracle)
- 利用JScript中运算符"||"和"&&"的特殊特性实现代码精简
- IN&EXISTS与NOTIN&NOTEXISTS的优化原则小结
- JavaScript.The.Good.Parts阅读笔记(二)作用域&闭包&减缓全局空间污染