ElasticSearch7.3学习(三十一)----Logstash基础学习
一、Logstash基本介绍
Logstash 是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据(文件、数据库......)。logstash简单来说就是一个数据抽取工具,将数据从一个地方转移到另一个地方。
Logstash 是 Elastic 栈非常重要的一部分,但是它不仅仅为 Elasticsearch 所使用。它可以介绍广泛的各种数据源。Logstash 可以帮利用它自己的Filter
帮我们对数据进行解析,丰富,转换等。最后,它可以把自己的数据输出到各种需要的数据储存地(redis、kafaka等等),这其中一般主要就是Elasticsearch。
二、windows下安装
在windows下安装及其简单,下载zip包解压即可。
注意:如果要推送的数据到es,那么一定要和es的版本相同
下载地址:https://www.elastic.co/cn/downloads/logstash
三、配置文件
logstash之所以功能强大和流行,与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的事件到后续流程中。
Logstash配置文件有如下三部分组成,其中input、output部分是必须配置,filter部分是可选配置,而filter就是过滤器插件,可以在这部分实现各种日志过滤功能。
input {
#输入插件
}
filter {
#过滤匹配插件
}
output {
#输出插件
}
四、启动logstash
找到logstash.bat
文件的目录,打开控制台。
为了好维护,下面这种写法一般不推荐。
logstash.bat -e 'input{stdin{}} output{stdout{}}'
在config目录下面新建文件test1.conf
,并将下方内容写入。意思是将控制台输入的内容输出到控制台
注意:内容的格式不能乱,缩进等等,若内容没问题的话,启动不起来一般都是格式的问题
input{
stdin{
}
}
output {
stdout{
codec=>rubydebug
}
}
运行上方命令,时间较长稍微等一下
logstash.bat -f ../config/test1.conf
启动成功界面如下
接下来在控制台输入hello world
,返回结果如下
返回结果解析
- message:输出的结果
- host:主机名
- @version:版本号
- @timestamp:当前时间戳
相关文章
- 发现 Linux SpaceFM 文件管理器的威力
- 夯实数据智能底座 共筑数字经济发展“新基石”
- 五分钟教你使用console.log发布公司的招聘信息
- 微软发布 Windows 11 Beta 预览版 Build 22621.1250 和 22623.1250 (KB5023008)
- Windows 11 学院:在 Windows 11 Build 25290 上如何为文件管理器启用标签页拖拽支持
- 微软Windows 11 Dev 预览版 Build 25290 发布:带来新的开始菜单提醒角标
- 微软正用全屏通知提醒 Windows 10 用户免费升级 Windows 11,要点击 5 次才能退出
- Linux Mint 21.2 将于 6 月发布:改进登录屏幕,优化 Pix 图像管理程序等等
- 字节面试也会问SPI机制?
- 微软正式停售 Windows 10 产品密钥 / 许可证:继续提供 ISO 镜像下载,推荐用户升级 Windows 11
- 用复古电脑程序 Toy CPU 学习低级编程
- Windows 11 新功能泄露:现代音量合成器、实验工具和新的文件管理器
- 微软 Windows 11 文件资源管理器全新设计曝光:UI 迎来大修,整合 Microsoft 365
- 对比Pandas,学习PySpark大数据处理
- 微软宣布为Windows 11 21H2设备开启自动更新到22H2版本
- 互联网都在说降本增效,小红书技术团队是怎么做的?
- 微软将继续提供 Windows 10 ISO 镜像下载,即将停售产品密钥 / 许可证
- 微软宣布为Windows 11 21H2 设备开启自动更新到 22H2 版本
- 面试突击:Properties和Yml有什么区别?
- 微软 Windows 11 Beta 预览版 22621.1245 和 22623.1245 (KB5022358) 发布