《大数据系统构建：可扩展实时数据系统构建原理与最佳实践 》一 第1章 大数据的新范式

本节书摘来自华章出版社《大数据系统构建：可扩展实时数据系统构建原理与最佳实践 》一书中的第1章，第1.1节，南森·马茨（Nathan Marz） [美] 詹姆斯·沃伦（James Warren） 著 马延辉 向 磊 魏东琦 译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 大数据的新范式

本章内容
扩展传统数据库时遇到的典型问题
为什么NoSQL不是万能的
从基本原理思考大数据系统
大数据工具的情形
SuperWebAnalytics.com的介绍
在过去的十年里，人们创造的数据量一路飙升—每秒产生超过30 000GB的数据，并且数据创造的速度仍在加快。
我们处理的数据是多样化的。用户创建的内容有博客文章、微博、社交网络的互动和照片等。服务器不断地记录用户正在做什么的消息。科学家们创造了精确“测量”世界的标尺—周围世界的详细测量结果。互联网，这使得数据的最终来源是浩瀚无垠的。
数据的惊人增长已经深刻地影响了商业。传统的数据库系统，比如关系型数据库，已经被发展到极限。在越来越多的情况下，这些系统已经承受不住“大数据”的压力了。传统系统以及与它们相关的数据管理技术未能成功扩展到大数据的范畴。
为了应对大数据的挑战，新一代的技术出现了。其中许多新技术被分类到NoSQL术语下。在某些方面，这些新技术比传统数据库更复杂，而在另外一些方面，它们更简单一些。这些系统可以扩展到非常大的数据集，但要想有效地使用这些技术，需要一套全新的技巧—然而并没有放之四海而皆准的解决方案。
这些大数据系统中有许多是由Google所开创的，包括分布式文件系统、MapReduce计算框架和分布式锁服务。该领域中的另一个先驱是Amazon，它创造了一个革新性的分布式键/值存储系统，称为“Dynamo”。这些年，开源社区开发出了如下的Hadoop、HBase、MongoDB、Cassandra、RabbitMQ和无数其他项目。
本书是关于复杂性和可扩展性的。为了应对大数据的挑战，我们将从头开始重新考虑数据系统。你会发现在例如关系型数据库管理系统（Relational Database Management Systems, RDBMS）这样的传统系统中，人们管理数据的一些最基本方法对于大数据系统来说过于复杂。为简单起见，替代方法就是你即将探索的大数据新范式。我们把这种方法称为“Lambda架构”。
在第1章中，你将探索“大数据问题”以及为什么需要大数据的新范式。你会看到一些传统技术扩展的风险，并发现用传统方式构建数据系统的缺陷。以数据系统基本原理为出发点，我们将制订一种不同的方式来构建数据系统，以避免传统技术的复杂性。你会看到技术的最近趋势是如何促进新系统的使用的，最后你还会看到一个大数据系统的例子，我们将在整本书中贯穿构建这个大数据系统，以此演示关键概念。
1.1 本书是如何组织的
你可以认为本书主要是一本理论性的书籍，专注于如何构建适用于任何大数据问题的解决方案。无论目前情形下的工具怎样，你将学习的原则都是有效的，你可以据此来严格选择适合你的应用程序的工具。
本书不是对数据库、计算和其他相关技术的调研。尽管在本书中，你将学习如何使用诸如Hadoop、Cassandra、Storm和Thrift等工具，但是本书的目的不是学会使用这些工具。相反，这些工具是学习构建具备鲁棒性和可扩展性的数据系统的一种手段。在这些工具之间进行相关的比较和对比，对你来说是不公平的，这样就会偏离学习底层原理的道路。换句话说，你将学习如何钓鱼，而不仅仅是如何使用特定的鱼竿。
通过这种方式，我们将本书划分为理论章节和例证章节。你可以只阅读理论章节，以全面理解构建大数据系统的方法—但我们认为，将理论映射到例证章节中的特定工具这一过程，将会使你对这些资料有更丰富、更细致的理解。
但是不要被本书的名字所欺骗—理论章节也有很多示例。本书中的首要案例是SuperWebAnalytics.com，这一案例在理论和例证章节都有用到。在理论章节，你可以看到SuperWebAnalytics.com的算法、索引设计和架构。例证章节利用具体的工具将这些设计映射为功能代码。

带你读《Greenplum：从大数据战略到实现》之三：数据处理平台的演进 这是一本系统剖析Greenplum开源大数据平台的书籍，也是大数据战略制定与落地的实战型指导书！本书围绕数字原生和云计算、大数据、人工智能驱动的企业数字化转型的核心诉求，从商业和技术实战视角分享了业界领先企业大数据战略的深刻思考，并提供了大数据战略从制定到落地的全面指导。既有高阶数字化战略高度对大数据的解读，又有技术实战角度对使用 Greenplum 大数据和机器学习平台实现大数据战略的实践指南。
大数据数据分析架构探究 从范式角度来讲，维度建模是以2NF的方式来描述数据，实体关系建模是以3NF的方式进行数据描述，由于分布式数据架构的兴起，使得维度建模得到了技术支持。换句话讲，现在数据增长的速度，对于现在的数据技术架构不再是技术瓶颈。
Preface 前 言 当第一次进入大数据的世界时,我仿佛置身于软件开发的美国西部荒原。许多人放弃了关系型数据库，转而选择带有高度受限模型的NoSQL数据库，主要是因为其使用体验良好、熟悉度较高且这种数据库可以扩展到成千上万台机器上。