ElasticSearch实战-日志监控平台
在项目业务倍增的情况下,查询效率受到影响,这里我们经过讨论,引进了分布式搜索套件——ElasticSearch,通过分布式搜索来解决当下业务上存在的问题。下面给大家列出今天分析的目录:
ElasticSearch 套件介绍 ElasticSearch 应用场景和案例下面开始今天的内容分享。
2.ElasticSearch 套件 2.1LogStashLogStash是一个开源的、免费的日志收集工具,属于Elastic家族的一员,负责将收集的日志信息输送到ElasticSearch,为ElasticSearch提供数据源。
2.2ElasticSearchElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构 建的。支持时间索引和全文检索。官网:https://www.elastic.co 它对外提供一系列基于Java和HTTP的API,用于索引、检索、修改大多数配置。
2.3 KibanaKibana也是开源和免费的工具,同样也是Elastic家族的一员,它可以帮助我们汇总、分析和搜索重要数据日志,并且提供友好的Web可视化界面。它可以为LogStash和ElasticSearch提供一个可视化的Web界面。
下面我们来看看ElasticSearch的应用场景和案例。
3.ElasticSearch 应用场景和案例在面对实时海量数据查询,实时搜索,全文搜索,ElasticSearch 都能够很好的去胜任,它是基于 Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装和使用方便。下面给大家介绍一些场景的案例。
Github这个开源的托管平台,对于我们开发者来说,并不陌生,我们基本每天都会去访问Github,而Github使用ElasticSearch来实 现搜索,运行在多个集群上。由于代码搜索索引很大,Github专门指定一个集群。Github使用Elasticsearch搜索20TB的数据,包括 13亿的文件和1300亿行的代码。
MozillaMozilla公司因Firefox而闻名,它目前使用Elasticsearch将测试的结果以JSON的格式进行存储,开发人员可以非常方便的查找BUG。
Sony公司使用Elasticsearch作为信息搜索引擎,以提供对外界的查询响应。
另外,还有很多企业也用到了ElasticSearch去作为一个分布式搜索引擎,这里就不一一列举了。
4.平台架构下面,我给大家用一个图来说明日志监控平台的架构,如下图所示:
通过上图,我们可以清晰的看到日志平台整个流向过程,下面我给大家来解释图中的各个环节的含义。首先,多个独立的Agent,这里就是图左边的 三个LogStash节点,他们负责收集不同来源的数据,由一个Indexer负责进行汇总和分析数据,在这个当中有一个中间过程,这里我们使用了 Broker,用Redis来实现这部分功能,其作用充当一个缓冲区,之后由ElasticSearch负责存储和搜索数据,最后由前段的Kibana可 视化我们收集的数据。
这里说明几点需要注意的地方:
采用LogStash收集各种日志数据,其类型可以是:系统日志、文件、Redis、MQ等等。 Broker作为远程代理和中心代理的缓冲区,使用Redis进行实现,原因有二:其一,可以提高系统的性能;其二,可以提高系统的高可用性,当中心代理提取数据失败时,数据保存在Redis中,可以规避数据丢失的风险。 中心代理使用LogStash,负责从Broker中获取数据,可以执行相关的分析和处理,它提供有Filter功能。 ElasticSearch用于存储最终的数据,并对外提供搜索功能,基于Restful。 Kibana提供一个简单、丰富的Web View可视化界面,用于可视化ElasticSearch集群中的数据,支持各种查询、统计和展示。这篇博客只是给大家入个门,让大家通过一个日志监控平台的案例去熟悉ElasticSearch套件的使用,以及它的背景。后面我会专门用于一 个ElasticSearch实战系列,来给大家分析这部分内容,包括平台的搭建部署,到平台的实现这一整个流程,这篇文章大家能够有个印象,熟悉各个套 件的作用即可。
6.结束语这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
【大数据开发运维解决方案】Elasticsearch+Logstash+Kibana(6.7.1版本)安装部署 Elasticsearch+Logstash+Kibana(6.7.1版本)安装部署 目前Elasticsearch、Logstash、Kibana三个组件都准备安装在虚拟机供个人学习使用。 一、部署Elasticsearch 1、下载安装包 官网下载地址: ES下载官网 选择Elasticsearch组件 2、上传解压安装包 [root@s133061 elk]# pwd /hadoop/elk [root@s133061 elk]# ls elasticsearch-6.7.1.tar.gz kiba
Elasticsearch最佳实践建议 本文主要是总结了Elasticsearch从安装、配置到应用程序使用、运维、性能优化的最佳实践的建议,希望能对于Elasticsearch的开发和运维提供一些帮助。
两个 Elasticsearch 线上实战问题及解读 线上实战问题 1 1、知识点 脚本的使用 2、问题描述: 你好,我想问一下,在 ES 里我想把两个字段的值是一样的查出来。 但是其中一个字段是在一个字典里的,我该怎么写啊?
ECK安装elasticsearch,接入apm测试 1.以前都是用helm安装elasticsearch,最近发现elasticsearch推荐使用ECK在K8S上安装,那我们就来试试吧 2.我们会在已有的K8S上安装ECK,elasticsearch,kibana,apm,关闭ssl,loadbalancer暴露应用访问 3.测试golang接入apm
【最佳实践】esrally:Elasticsearch 官方压测工具及运用详解 由于 Elasticsearch(后文简称 es) 的简单易用及其在大数据处理方面的良好性能,越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前,不免要做一番调研和测试,本文便是介绍官方的一个 es 压测工具 esrally,希望能为大家带来帮助。
相关文章
- 监控系统-Grafana
- Python监控主机是否存活,并发报警邮件
- Shell 历史记录异地留痕审计与监控
- Qt编写安防视频监控系统49-多数据库支持
- Qt编写安防视频监控系统30-GPS运动轨迹
- jvm VisualVM工具的使用:使用jvisualvm监控远程tomcat jvm进程
- Elasticsearch安装(四), elasticsearch head 插件安装和使用。
- Elasticsearch教程(六) elasticsearch Client创建
- Elasticsearch教程(七) elasticsearch Insert 插入数据(Java)
- Elasticsearch教程(九) elasticsearch 查询数据 | 分页查询
- 手把手教你从安装CentOS7.4镜像开始,搭建IoT视频监控系统
- Python编程:elasticsearch库操作Elasticsearch
- elasticsearch 官方监控文档 老版但很有用
- k35.第十五章 K8s运维篇-Prometheus监控 (一)
- Prometheus+Grafana全方位监控Kubernetes集群资源利用率
- iotop - 如何在 Linux 中监控磁盘 I/O
- php监控文件变化
- Monitor 监控指标
- iotop - 如何在 Linux 中监控磁盘 I/O
- kube-prometheus 监控ElasticSearch