Logstash优化吞吐率
优化 Logstash
2023-09-11 14:17:16 时间
优化相关
修改logstash.yml
配置文件
一、pipeline.workers(实际output 时的线程数)
决定filter和output的线程数,官方建议大于CPU数,如果logstah节点是混用服务器,
建议等于或小于CPU数
二、pipeline.batch.size(每次发送的事件数)
单个线程每次调用ES bulk index API时的事件数。
这些时间将被放到内存中。最好的设定值是不断地测试,测试,测试。
三、pipeline.batch.delay(发送延时)
创建流水线事件批次时,在将尺寸过小的批次分派给流水线工作人员之前等待每个事件的时间(以毫秒为单位)。
四、JVM_heap
内存堆大小,通过配置jvm_option来修改。
生产参考
pipeline.workers: 20
pipeline.batch.delay: 10
pipeline.batch.size: 5000
官方文档:https://www.elastic.co/guide/en/logstash/current/logstash-settings-file.html
相关文章
- Unity性能优化系列 — 资源内存泄漏
- SEO优化100条
- HBase写吞吐场景资源消耗量化分析及优化
- 分别使用 Python 和 Math.Net 调用优化算法
- Linux性能优化(一)
- Android优化系列一: 日志清理
- 面试准备——数据库优化问题
- Qt音视频开发08-ffmpeg内核优化(极速打开/超时回调/实时响应)
- Android性能优化之启动速度优化
- 《Spark大数据处理:技术、应用与性能优化》——2.2 Spark集群初试
- MySQL的性能优化理论
- 性能优化2--内存优化
- 开发者应了解的一些SQL优化准则
- MySQL数据库性能优化之SQL优化
- hdu3698 Let the light guide us dp+线段树优化
- 【博客优化】博客园增加背景音乐调用