搭建一个完整的实时日志统计平台

搭建一个完整的实时日志统计平台

在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应来
说，则可能是用户的访问日志、用户的点击日志等。
如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Flink进行处理。比较贴切的一个例子是天猫双十一的成交额，在其展板上，我们看到交易额是实时动态进行更新的，对于这种情况，则需要采用在线处理。下面要介绍的是实时数据处理方式，即基于Flink的在线处理，在下面给出的完整案例中，我们将会完成下面的几项工作：
1.如何一步步构建我们的实时处理系统（Flume+Kafka+Flink+Redis）。
2.实时处理网站的用户访问日志，并统计出该网站的PV(访问量)、UV(独立访客)，IP。
3.将实时分析出的PV、UV动态地展示在我们的前端页面上。
1.1 架构图
即从上面的架构中我们可以看出，其由下面的几部分构成：
Flume集群
Kafka集群
Flink集群
从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的