elk-日志方案--使用Filebeat收集日志并输出到Kafka
2023-09-14 09:12:10 时间
1,Filebeat简介
Filebeat是一个使用Go语言实现的轻量型日志采集器。在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK。
在我们的架构设计中Kafka负责微服务和ELK的分离,Filebeat负责收集微服务的日志并推送到Kafka中,如图:
2,Filebeat安装使用步骤
2.1 下载并解压Filebeat
在以上网址中下载和操作系统匹配的版本
其中CentOS属红帽系列选择RPM,Ubuntu属Debian系列选择DEB,其他Linux选择Linux通用。我用的win10选择Windows 64-bit,下载并解压到自定义目录(比如:C:\Programs\filebeat-6.5.1-windows-x86_64)
2 .2 编辑filebeat.yml配置文件
修改其中的input选项
#=========================== Filebeat inputs =============================
filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
- type: log
# Change to true to enable this input configuration.
enabled: true #此处默认为false,切记改为true.否则坑到天黑
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log #Linux使用此处配置
- C:\Logs\*.log #Windows使用此配置
修改output选项,添加输出到kafka的配置
#================================ Outputs =====================================
# Configure what output to use when sending the data collected by the beat.
#-------------------------- Kafka output ------------------------------
output.kafka:
# Array of hosts to connect to.
hosts: ["192.168.8.32:9092"] #hosts是string数组类型,支持多个kafka实力地址(此处不是配置zookeeper地址)
topic: elklog #kafka的topic名称
2.3 运行命令启动Filebeat
Linux运行以下命令:
sudo ./filebeat -e -c filebeat.yml
Windows运行以下命令:
filebeat.exe -e -c filebeat.yml
3,测试
在我们配置好的input选项中的目录下,新建一个test.log文件,并写入测试字符串保存并关闭。
可以看到Kafka已经有数据了
如果ELK运行正常,Elasticsearch和Kibana中也有数据了。
相关文章
- kafka学习之-KafkaOffsetMonitor后台监控
- Kafka简明教程
- Kafka消费组(consumer group)
- 使用Elasticsearch,Kafka和Cassandra构建流式数据中心
- Kafka项目实战-用户日志上报实时统计之编码实践
- kafka 第一次小整理(草稿篇)————整理一下自己的认知
- kafka日志和数据分离
- kafka 基础知识梳理-kafka是一种高吞吐量的分布式发布订阅消息系统
- kafka详解一、Kafka简介
- kafka详解三:开发Kafka应用
- 全网最详细地理解Kafka中的Topic和Partition以及关于kafka的消息分发、服务端如何消费指定分区、kafka的分区分配策略(range策略和RoundRobin策略)
- y150.第八章 Servless和Knative从入门到精通 -- Kafka 与Eventing(十四)
- kafka-manage管理工具
- Kafka简介及使用PHP处理Kafka消息
- linux 下安装 php kafka 扩展
- filebeat输出到kafka
- 大数据Hadoop之——Kafka鉴权认证(Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证)
- 【项目】如何通过总的用户数据计算单台kafka所需磁盘容量?
- Kafka 位移提交
- 解开Kafka神秘的面纱(一):kafka架构与应用场景