第11章 流计算

大数据包括静态数据和动态数据（流数据），相应地，大数据计算包括批量计算和实时计算。传统的MapReduce框架采用离线处理计算的方式，主要用于对静态数据的批量计算，并不适合处理流数据。流计算即针对流数据的实时计算。Storm流计算框架具有可扩展性、高容错性、能可靠地处理消息的特点，且使用简单，可以以较低的成本来开发实时应用。

流计算概念

静态数据和流数据（动态数据）

静态数据：静态数据是指不会随时间发生变化的数据。

流数据：数据以大量、快速、时变的流形式持续到达。例如：网络监控、电信金融、生产制造等。

从概念上来，流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体；数据记录是流数据的最小组成单元。

流数据具有如下特征：

• 数据快速持续到达，潜在数据量也许是无穷无尽的。
• 数据来源众多，格式复杂。
• 数据量大，但是不十分关注存储，一旦流数据中的某个元