NoSQL人气高涨 Spark功不可没

近年来，由于NoSQL数据库出现并用于处理大规模数据扩展，在线事务处理技术不断变化。同时，随着Hadoop和Spark的出现，经典分析模式被逐渐打破。

如今，应用程序来利用这些技术在大规模事务系统上创建接近实时的分析。尤其是接入NoSQL系统的Spark连接器正变得越来越普遍。

“就是我们正在用操作系统和分析系统改变我们正在做的事情，”分析师Mike Ferguson在上周Dataversity举办的一个讨论会上说。 Ferguson是位于一位英国的经营智能商业策略的总经理，他分享了将Spark与来自Basho Technologies的关键值Riak NoSQL数据存储相连，通过这种方法来对Web和移动数据的分析进行加速。

和Aerospike，Couchbase，DataStax，Redis Labs以及其他竞争对手一样，Basho也因此目的而涉足Spark连接器。

操作分析

Ferguson说把NoSQL和Hadoop以及Spark进行结合为他所谓的“操作分析”奠定了基础，相比起过去的分析系统，该系统不需要整夜都进行批处理任务。 多年来，关系型数据库都处于操作和分析系统之间循环的末端。但是随着Web和移动应用程序开始需要可扩展性(这种特性是通过运行分布式计算机集群获得的)，情况就开始改变了。对于数据处理来说，页面是一回事，而移动又是另一回事。 通过移动接入事务系统，并发用户量激增到了前所未有的水平。

这使得团队要去尝试新的架构，而Spark则已经成为一个有力的竞争者。 Ferguson指出Spark和其他产品一样虽然通常是运行在Hadoop上，但是并不局限于Hadoop存储。它还可以访问关系型数据存储以及NoSQL数据存储。

这反过来就会支持应用Spark进行一系列的分析，“其中有些是操作分析，”他说。 就像Ferguson所形容的，操作分析试图利用分析来避免某些事件和优化流程。这可以让应用程序降低风险，改善客户交互并减少计划外运营成本。

A/B测试

用例 Intuit是一家网络财务和税务筹划服务提供商，NoSQL数据库与Spark分析引擎协作的一个案例就是出自这家公司。

Rekha Joshi是加州的一位软件工程师，她说，对于那些存储在DataStax Cassandra数据库(运行在Amazon Web Services云端)中的数据，Spark已经完成了分析。 她所描述的一个用例集中在访问者与Intuit网站首选交互方式的A/B测试上。其目标就是要更好地理解访问者的喜好并对个性化他们的页面视图和网站交互进行自动响应。 数以百万的网站用户生成了大量数据， Cassandra NoSQL有能力应对这样的变化。但Rekha Joshi说：“这并不是Cassandra真正的用武之地。Spark和Hadoop才是为此而生的。”

Intuit员工曾使用Spark和Hadoop。它们有着各自的性能优势和局限性，该工作对Spark有近乎实时的性能要求。Hadoop是一个批处理系统，而Spark则是实时的或是接近实时的。 Joshi所描述的路径与Ferguson的操作分析有一定相关性，但是她选择另外已有的术语来描述同时支持批处理和实时分析的架构，即，λ架构。 诸如Ferguson的分析和Joshi的用例给出了数据分析架构改变的一个视角。这在存储方面可能有更丰富的内容。

For NoSQL, there is considerable growth to come, according to Allied Market Research, which estimated that a global NoSQL market that barely existed 10 years ago will reach $4.2 billion by 2020. 根据Allied Market Research的预测，NoSQL会有非常迅速的增长。 10年前几乎不存在的全球NoSQL市场将会在2020年达到42亿美元的规模。 和Ferguson一样，Allied将Web、移动和电子商务应用程序作为NoSQL迅速发展的驱动力。与诸如Spark这些新的分析引擎进行对接也会有助于NoSQL的增长，会扩大NoSQL的可用度。
本文转自d1net（转载）

四两拨千斤：小巧新秀ClickHouse如何完美支撑史上最强双十一？ 第12个双11已圆满结束，但对技术的探索永不止步。每年双11，不仅仅是剁手族的狂欢节，更是数据人的“大考”，是检验阿里云数据库技术团队技术水平与技术创新实践的舞台。本站将陆续推出双11护航背后的数据库技术实践与经验分享系列干货文章，敬请关注！今天为云数据库ClickHouse的技术解析。
ApacheCon 2019 Cassandra分会各大议题深度剖析，解读cassandra前沿工作 NGCC 2019摘要 下一代Cassandra会议（NGCC）是ApacheCon 2019大会中的一场分会。 它是由开发人员，贡献者，提交者，驱动程序作者以及对Apache Cassandra开发感兴趣的人组成的年度会议，他们可以聚在一起讨论Cassandra项目的技术和社区发展方向。
Cassandra编年史 Apache Cassandra是一套开源分布式数据库管理系统，最初由Facebook开发，后续贡献给Apache。创始人后续创了Datastax公司用于商业Cassandra。 Cassandra在全球使用比较广发，为最流行的NoSQL宽表数据库。
HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix 数据爆炸使得传统单机数据库面临一系列挑战，HBase作为NoSQL数据库，解决了大规模数据实时读写的难题。Phoenix项目在HBase的基础上增加了SQL语言表达，算子原地执行，二级索引，加盐表等特性，进化成为了NewSQL数据库，更好用也更强大。
下：比拼生态和未来，Spark和Flink哪家强？  前文对 Spark 和 Flink 的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境，技术支持，社区等等，对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限，而生态能让这些能力真正发挥出作用。 ## 概   况  Spark 是最活跃的 A