大数据管理系统：NoSQL数据库前世今生

文章讲的是大数据管理系统：NoSQL数据库前世今生，NoSQL一词最早出现于1998年，它是Carlo Strozzi开发的一个轻量、开源、不提供SQL功能的关系型数据库(他认为，由于NoSQL悖离传统关系数据库模型，因此，它应该有一个全新的名字，比如“NoREL”或与之类似的名字)。

2009年，Last.fm的Johan Oskarsson发起了一次关于分布式开源数据库的讨论，来自Rackspace的Eric Evans再次提出了NoSQL的概念，这时的NoSQL主要指非关系型、分布式、不提供ACID的数据库设计模式。

2009年在亚特兰大举行的“no:sql(east)”讨论会是一个里程碑，其口号是"select fun, profit from real_world where relational=false;"。因此，对NoSQL最普遍的解释是“非关系型的”，强调键值存储和文档数据库的优点，而不是单纯地反对关系型数据库。

传统关系型数据库在处理数据密集型应用方面显得力不从心，主要表现在灵活性差、扩展性差、性能差等方面。最近出现的一些存储系统摒弃了传统关系型数据库管理系统的设计思想，转而采用不同的解决方案来满足扩展性方面的需求。这些没有固定数据模式并且可以水平扩展的系统现在统称为NoSQL(有些人认为称为NoREL更为合理)，这里的NoSQL指的是“Not Only SQL”，即对关系型SQL数据系统的补充。NoSQL系统普遍采用的一些技术有：

·简单数据模型。不同于分布式数据库，大多数NoSQL系统采用更加简单的数据模型，这种数据模型中，每个记录拥有唯一的键，而且系统只需支持单记录级别的原子性，不支持外键和跨记录的关系。这种一次操作获取单个记录的约束极大地增强了系统的可扩展性，而且数据操作就可以在单台机器中执行，没有分布式事务的开销。

·元数据和应用数据的分离。NoSQL数据管理系统需要维护两种数据：元数据和应用数据。元数据是用于系统管理的，如数据分区到集群中节点和副本的映射数据。应用数据就是用户存储在系统中的商业数据。系统之所以将这两类数据分开是因为它们有着不同的一致性要求。若要系统正常运转，元数据必须是一致且实时的，而应用数据的一致性需求则因应用场合而异。因此，为了达到可扩展性，NoSQL系统在管理两类数据上采用不同的策略。还有一些NoSQL系统没有元数据，它们通过其他方式解决数据和节点的映射问题。

·弱一致性。NoSQL系统通过复制应用数据来达到一致性。这种设计使得更新数据时副本同步的开销很大，为了减少这种同步开销，弱一致性模型如最终一致性和时间轴一致性得到广泛应用。

通过这些技术，NoSQL能够很好地应对海量数据的挑战。相对于关系型数据库，NoSQL数据存储管理系统的主要优势有：

·避免不必要的复杂性。关系型数据库提供各种各样的特性和强一致性，但是许多特性只能在某些特定的应用中使用，大部分功能很少被使用。NoSQL系统则提供较少的功能来提高性能。

·高吞吐量。一些NoSQL数据系统的吞吐量比传统关系数据管理系统要高很多，如Google使用MapReduce每天可处理20PB存储在Bigtable中的数据。

·高水平扩展能力和低端硬件集群。NoSQL数据系统能够很好地进行水平扩展，与关系型数据库集群方法不同，这种扩展不需要很大的代价。而基于低端硬件的设计理念为采用NoSQL数据系统的用户节省了很多硬件上的开销。

·避免了昂贵的对象-关系映射。许多NoSQL系统能够存储数据对象，这就避免了数据库中关系模型和程序中对象模型相互转化的代价。

NoSQL向人们提供了高效便宜的数据管理方案，许多公司不再使用Oracle甚至MySQL，他们借鉴Amzon的Dynamo和Google的Bigtable的主要思想建立自己的海量数据存储管理系统，一些系统也开始开源，如Facebook将其开发的Cassandra捐给了Apache软件基金会。

虽然NoSQL数据库提供了高扩展性和灵活性，但是它也有自己的缺点，主要有：

·数据模型和查询语言没有经过数学验证。SQL这种基于关系代数和关系演算的查询结构有着坚实的数学保证，即使一个结构化的查询本身很复杂，但是它能够获取满足条件的所有数据。由于NoSQL系统都没有使用SQL，而使用的一些模型还未有完善的数学基础。这也是NoSQL系统较为混乱的主要原因之一。

·不支持ACID特性。这为NoSQL带来优势的同时也是其缺点，毕竟事务在很多场合下还是需要的，ACID特性使系统在中断的情况下也能够保证在线事务能够准确执行。

·功能简单。大多数NoSQL系统提供的功能都比较简单，这就增加了应用层的负担。例如如果在应用层实现ACID特性，那么编写代码的程序员一定极其痛苦。

·没有统一的查询模型。NoSQL系统一般提供不同查询模型，这一定程度上增加了开发者的负担。

作者简介

陆嘉恒，中国人民大学副教授，新加坡国立大学博士，美国加利福尼亚大学尔湾分校(University of California， Irvine) 博士后。

作者:陆嘉恒

来源：IT168

原文链接：大数据管理系统：NoSQL数据库前世今生

基于分布式关系型数据库，实现轻松应对百亿级数据分析场景解决方案 MyCat是什么？ 从定义和分类来看，它是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库读写分离，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。也可以指定多个写库多个读库。 MyCat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库
解读NoSQL最新现状和趋势：云NoSQL数据库将成重要增长引擎 NoSQL最早起源于1998年，但从2009年开始，NoSQL真正开始逐渐兴起和发展。回望历史应该说NoSQL数据库的兴起，完全是十年来伴随互联网技术，大数据数据的兴起和发展，NoSQL在面临大数据场景下相对于关系型数据库运用，这一概念无疑是一种全新思维的注入。
DTCC 2019 | NoSQL数据库最新发展趋势 如何拥有居家必备的企业级能力？ 摘要：企业IT系统面临层出不穷的新业务，安全，成本等诸多挑战。阿里云NoSQL数据库通过与企业业务深度结合，快速创新，提供最新的技术帮助企业用户迎接挑战，获得金融、社交、直播等众多大客户的信任。本文中，阿里云智能数据库产品事业部高级产品专家朱洁为大家介绍阿里云NoSQL数据库在众多最新领域的创新和技术实践。
NoSQL最新现状和趋势：云NoSQL数据库将成重要增长引擎 NoSQL最早起源于1998年，但从2009年开始，NoSQL真正开始逐渐兴起和发展。回望历史应该说NoSQL数据库的兴起，完全是十年来伴随互联网技术，大数据数据的兴起和发展，NoSQL在面临大数据场景下相对于关系型数据库运用，这一概念无疑是一种全新思维的注入。