CentOS安装filebeat收集日志到kafka
2023-03-15 22:43:53 时间
简介
filebeat是日志数据采集器,可代替logstash收集日志,部署起来比较方便。
一般日志量比较大,会先收集到kafka然后再进行消费。
安装
- yum -y install https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.14.0/filebeat-7.14.0-x86_64.rpm
配置filebeat
- vim /etc/filebeat/filebeat.yml
- filebeat.inputs:
- - type: log
- paths:
- - /var/log/*.log
- - /var/log/messages
- fields:
- type: "systemlog"
- log_topic: "systemlog"
- fields_under_root: true
- exclude_lines: ["^DBG"]
- exclude_files: [".gz$"]
- name: 192.168.122.100
- output.kafka:
- enabled: true
- hosts: ["192.168.122.200:9092"]
- topic: "%{[log_topic]}"
- partition.round_robin:
- reachable_only: true
- worker: 2
- required_acks: 1
- compression: gzip
- max_message_bytes: 10000000
服务管理
- systemctl enable filebeat
- systemctl start filebeat
总结
filebeat是Go写的,部署起来很方便,没什么依赖,批量部署简单。
相关文章
- 金融服务领域的大数据:即时分析
- 影响大数据、机器学习和人工智能未来发展的8个因素
- 从0开始构建一个属于你自己的PHP框架
- 如何将Hadoop集成到工作流程中?这6个优秀实践必看
- SEO公司使用大数据优化其模型的5种方法
- 关于Web Workers你需要了解的七件事
- 深入理解HTTPS原理、过程与实践
- 增强分析:数据和分析的未来
- PHP协程实现过程详解
- AI专家:大数据知识图谱——实战经验总结
- 关于PHP的错误机制总结
- 利用数据分析量化协同过滤算法的两大常见难题
- 怎么做大数据工作流调度系统?大厂架构师一语点破!
- 2019大数据处理必备的十大工具,从Linux到架构师必修
- OpenCV中的KMeans算法介绍与应用
- 教大家如果搭建一套phpstorm+wamp+xdebug调试PHP的环境
- CentOS下三种PHP拓展安装方法
- Go语言HTTP Server源码分析
- Go语言HTTP Server源码分析
- 2017年4月编程语言排行榜:Hack首次进入前五十