logstash的安装和简单使用
2023-02-18 16:27:46 时间
logstash的安装和简单使用
一、安装
1、下载并解压
# 下载,不同的操作系统下载不同的包
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.0-darwin-x86_64.tar.gz
# 解压
tar -zxvf logstash-7.12.0-darwin-x86_64.tar.gz
# 重命名
mv logstash-7.12.0 logstash
2、logstash 一些命令行参数
1、查看帮助信息
cd logstash
bin/logstash -h
2、加载指定pipeline文件路径
bin/logstash -f 文件路径
注意⚠️:
-f
后面跟的文件路径可以是一个文件的路径,也可以是一个文件夹的路径,如果是文件夹的路径,则会加载该文件夹下的文件,组成一个大的 pipeline 文件。
3、检测配置文件语法是否有错误
bin/logstash -t
4、热加载pipeline配置文件
bin/logstash -r
5、指定绑定的主机和启动的端口
bin/logstash --http.host 127.0.0.1 --http.port 9210
注意⚠️:
更多配置项参考 bin/logstash -h
的输出。
3、修改logstash的配置文件
1、修改jvm的配置
vim config/jvm.options
修改 -Xms 和 -Xmx 等其余参数的值。
2、修改logstash.yml配置
vim config/logstash.yml
# 设置节点的名字
node.name: logstash-01
# 设置 pipeline 的id
pipeline.id: main
pipeline.ordered: auto
# 设置pipeline 的线程数(filter+output),默认是cpu的核数
# pipeline.workers: 2
# 设置main pipeline文件所在的位置
# path.config:
# 自动重新加载pipeline配置文件
config.reload.automatic: true
# 设置http api 绑定的ip和端口
http.host: 127.0.0.1
http.port: 9201
# 设置logstash队列的类型 为持久化,默认是 memory
queue.type: persisted
4、编写一个pipeline文件
实现功能,接口从控制台输入的数据然后输出到控制台上。
文件名: pipeline.conf/demo-std.conf
# 输入, stdin 表示标准输入
input {
stdin {
codec => plain {
charset => "UTF-8"
}
# type 的值随便给,就一个标识,后期方便查询
type => "console input"
# 添加一个 tag
tags => ["console"]
}
}
# 数据过滤
filter {
}
# 输出 stdout 表示输出
output {
stdout {
codec => rubydebug {
}
}
}
5、启动logstash
启动的时候,直接某个pipeline文件
# -f 指定 pipeline 文件的路径
bin/logstash -f pipeline.conf/demo-std.conf
6、查看运行结果
二、pipeline的组成
由上图可知,一个pipeline有三个元素组成input
、filter
和output
。其中 input
和output
是必须的。filter
是可选的。
input
:指定了从那个地方抓取数据,比如:文件(file)、beats、tcp等等。
filter
:是我们可以修改input的数据,比如增加字段、重命名字段、修改字段类型等等。
output
:决定了我们处理好的数据输出到哪里,比如:es、file、等等。
三、参考链接
1、logstash下载地址
2、logstash的目录结构
3、logstash.yml配置文件的参数
4、logstash命令行参数
相关文章
- Ubuntu 16.04 LTS 安装redis
- redis系列之初识Redis
- Redis系列之如何高效使用
- NLP: Text Neural Network (Part1: textRNN, textCNN)
- [NetWork] 局域网基本原理
- Redis实现朋友圈,微博等Feed流功能,实现Feed流微服务(代码实现)
- 下载速率提升40% ,《斗罗大陆:魂师对决》是如何做到的?
- 华为Awareness kit,您旅途路上的超智能管家
- Discovery直播 | 移动应用“通行证”——钥匙环,解锁管家式安全出行服务
- 教你在“狼人杀”中实现变声效果
- 技术与艺术的结合,HMS Core让手机主题趣味丛生
- 受众同步管理功能上线,让你的活动礼包发对人
- 分析服务助力产品运营
- 租房买房行业报告上线,为房产服务数字化转型添砖加瓦
- 放码来战!HMS Core线上Codelabs挑战赛正式开始
- 一图读懂DCI版权服务
- 【HMS Core 6.0全球上线】Toolkit,您的智能辅助编程好帮手
- 眼镜选款新方法,用AR+Scene技术实现3D虚拟试戴
- HDD成都站:HMS Core 6.0带来新可能,多元服务驱动产品价值提升
- Insights直播预告 | 多媒体管线服务,助您轻松进入“技术流”创新阵地