日志系列-常见处理方案

什么是日志数据？

“日志是一种简单的不能再简单的存储抽象”。它是一个只能增加的，完全按照时间排序的一系列记录。日志（时间序列数据）看起来如下：

我们可以给日志末尾添加记录，并且可以从左到右读取日志记录。每一条记录都指定了一个唯一的有一定顺序的日志记录编号。

日志顺序由“时间”来确定，从图上可以看到日志从右到左的时间顺序，新产生的事件被记录，过去的事件渐渐远去，但它记录了什么时间发生了什么事情，这无论对于计算机、人类、还是整个世界而言，是认知与推理的基础。

日志数据有哪些类型？

平时我们看得比较多的是Nginx访问日志，除此之外还有Metric Log（性能日志），IoT Log（从设备采集的行为数据），User Action，User Click等。

日志数据常见处理方案

我们以阿里云日志服务为基础，介绍一些常用日志处理方案

（不断更新中）

程序日志（Application Log） 计量日志（Metering Log） 访问日志处理（Access Log） 账单日志 行驶轨迹日志 硬件设备IoT日志 用户行为日志 点击日志（Web Click)：用户点击，一般多来自于Web、移动端
日志服务应用场景 日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算 （ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。
ELK，彻底解决集群项目的日志查看问题（二） 每当项目上线时，因为项目是集群部署的，所以，来回到不同的服务器上查看日志会变得很麻烦，你是不是也碰到这样类似的问题，那么ELK将能解决你遇到的问题！
ELK，彻底解决集群项目的日志查看问题（一） 每当项目上线时，因为项目是集群部署的，所以，来回到不同的服务器上查看日志会变得很麻烦，你是不是也碰到这样类似的问题，那么ELK将能解决你遇到的问题！
日志排查问题困难？分布式日志链路跟踪来帮你 开发排查系统问题用得最多的手段就是查看系统日志，在分布式环境中一般使用`ELK`来统一收集日志，但是在并发大时使用日志定位问题还是比较麻烦，由于大量的其他用户/其他线程的日志也一起输出穿行其中导致很难筛选出指定请求的全部相关日志，以及下游线程/服务对应的日志。
简志 阿里云计算高级专家，擅长领域日志分析与处理。 微博: http://weibo.com/sandbeach 博客: https://aboutlog.wordpress.com/
阿里云存储服务 193995 阿里云存储基于飞天盘古2.0分布式存储系统，产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等，充分满足用户数据存储和迁移上云需求，连续三年跻身全球云存储魔力象限四强。
Elasticsearch全观测技术解析与应用（构建日志、指标、APM统一观测平台） 立即下载