大数据日志分析logstash\elasticsearch\kibana

注意：关于安装文档，网络上有很多，可以参考，不可以全信，而且三件套各自的版本很多，差别也不一样，需要版本匹配上才能使用。推荐直接使用官网的这一套：elkdownloads。

比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2

安装elasticsearch 下载elasticsearch 1.4.2

tar -xf elasticsearch-1.4.2.tar.gz

mv elasticsearch-1.4.2 /usr/local/

ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch

测试elasticsearch

[root@localhost service]# curl -X GET http://localhost:9200/

 "status" : 200,

 "name" : "Fury",

 "cluster_name" : "elasticsearch",

 "version" : {

 "number" : "1.4.2",

 "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c",

 "build_timestamp" : "2014-12-16T14:11:12Z",

 "build_snapshot" : false,

 "lucene_version" : "4.10.2"

 "tagline" : "You Know, for Search"

}

安装到自启动项

下载解压到/usr/local/elasticsearch/bin文件夹下

/usr/local/elasticsearch/bin/service/elasticsearch install

安装logstash 下载logstash 1.4.2

tar -xf logstash-1.4.2
mv logstash-1.4.2 /usr/local/
ln -s /usr/local/logstash-1.4.2 /usr/local/logstash

测试logstash

bin/logstash -e input { stdin { } } output { stdout {} }

配置logstash

创建配置文件目录：

mkdir -p /usr/local/logstash/etc

vim /usr/local/logstash/etc/hello_search.conf

输入下面：

input {

 stdin {

 type = "human"

output {

 stdout {

 codec = rubydebug

 elasticsearch {

 host = "192.168.33.10"

 port = 9200

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf

安装kibana 注：logstash 1.4.2中也自带了kabana，但是你如果使用自带的kibana安装完之后会发现有提示“Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.”。根据这个帖子这个是自带的Kibana 3.0.1的问题。所以还是自己安装kibana靠谱。

下载kibana 3.1.2 注：现在kibanna可以自带了web服务，bin/kibana就可以直接启动了，建议不用nginx进行配合启动了。

具体可以参考：

http://kibana.logstash.es/content/kibana/v4/setup.html

Elasticsearch无索引查询分析介绍 众所周知，Elasticsearch提供的高效而丰富的查询分析能力，是基于Lucene提供的字段存储、倒排索引以及doc values等特性。通过倒排索引，可以快速过滤出符合查询条件的文档集合；结合doc values，可以高效地获取文档特定列的值信息，以便进行排序以及各种聚合操作；而字段存储则允许获取文档的原始内容。不难看出，字段存储、倒排索引以及doc values之间，是存在一定数据冗余的（
部署kibana分析系统并连接elasticsearch集群展现索引数据（八） 部署kibana分析系统并连接es展现索引数据 1.kibana分析系统简介 Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。
【最佳实践】阿里云Elasticsearch应用性能监控分析（APM） 本文介绍了阿里云Elasticseasrch APM服务概念架构及功能，以及如何快速接入并使用，通过阿里云托管的Elasticsearch 应用性能监控（APM）服务，您可以结合阿里云Elasticsearch实现系统可观测性能力搭建。
探究 | kafka-connector 同步 Elasticsearch速度慢根因分析？ 1、kafka同步Elasticsearch的方式 之前博文中也有介绍： 方式一：logstash_input_kafka 方式二：kafka_connector 方式三：spark stream 方式四：java程序读写自己实现
CDN 流媒体服务实时分析 Elasticsearch 实践—Elastic Stack 实战手册 发挥 Elastic Stack 在日志和实时数据分析计算领域的一些优势，对流媒体服务这样规模较大、实时性要求偏高，且分析、业务探索流程要求灵活的业务是一个比较百搭的选择。
Elasticsearch生态&技术峰会 | 基于流式计算平台搭建实时分析 开源最大的特征就是开放性，云生态则让开源技术更具开放性与创造性，Elastic 与阿里云的合作正是开源与云生态共生共荣的典范。值此合作三周年之际，我们邀请业界资深人士相聚云端，共话云上Elasticsearch生态与技术的未来。
Elasticsearch的TermsQuery慢查询分析和优化 本篇文章主要记录业务上的一个TermsQuery优化和分析的过程和一些思考。 在使用ES的时候，经常会遇到慢查询，这时候可以利用profile进行分析，当利用profile也查看不出什么端倪时候，可以尝试通过阅读代码查看查询为什么这么慢。如下是一个我们内部业务的一个慢查询，经常出现4s左右的延时，一模一样的查询，但是延时不一样，且很难复现。
Elasticsearch全观测技术解析与应用（构建日志、指标、APM统一观测平台） 立即下载