实现Spark集群部署 这些公司都经历了什么?

软件公司Intuit和Novantas经过深思熟虑，决定部署他们的第一个Spark集群，限制初始用户访问并寻找坚实的商业用途。

Intuit公司建立了Spark集群，最初用于在网站和进入在线表单的数据用户的财务和会计软件分析点击流记录。但是Intuit的副总裁Bill Loconzolo并不打算使用开源数据处理引擎。

Loconzolo表示，在他的印象中，Spark似乎并不是很灵活。但是尽管Spark集群设置是实验性质的，数据科学家团队也可以使用。Loconzolo说，2016年年底之前，他不打算开放系统。

他想要建立一个基于Cloudera公司Hadoop分布的大数据分析架构，他准备使用Spark等新技术至少六个月，以便判断公司是否做好了准备。

“以前使用大数据技术时，我们有过类似的教训，”他解释说，“有时候，提前做准备是我们避免失败的有效方式。”

Novantas公司的首席技术官和工程主管Kaushik Deka表示，开始使用Hadoop时，他的团队也采取了非常谨慎的战略模式。

“一年前，我们从未使用过大数据平台，”Deka说，“我们完全认同这样的技术，但想要使用这些技术，公司内部文化需要做些真正的努力和转变。”Novantas还必须通过对现有员工进行培训，建立像Spark一样的内部专业工具。

为了避免偏离轨道，该公司非常谨慎地寻找一个坚实的初始业务用于大数据技术。达到搜索高峰时，银行利用其分析服务和软件结合不同的数据集来支持个人客户如何应对市场营销的预测模型。Spark非常适合该应用程序，可以作为一个引擎完成提取、转换和加载数据集成工作。

Gartner分析师Nick Heudecker说，咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟，企业用户中关于Spark集群的产品相对较少。他说，“我们对这项技术很感兴趣，Spark是否转化为部署是我们密切关注的事情。”

本文作者：佚名

来源：51CTO

Hadoop和Spark的异同 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题，是一个分布式数据基础设施。 HDFS，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，通过将块保存到多个副本上，提供高可靠的文件存储。 MapReduce，通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台的机器上并发地分布式处理大量数据集，而把并发、分布式和故障恢复等细节隐藏。
HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】 今天咱先说问题，经过几天测试题的练习，我们有从某题库中找到了新题型，并且成功把我们干趴下，昨天今天就干了一件事，站起来。 java mapeduce 清洗 hive 中的数据 ，清晰之后将driver代码 进行截图提交。
Storm与Spark、Hadoop三种框架对比 Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。
大数据Spark企业级实战与Hadoop实战&PDF和PPT 今天给大家分享的是《大数据Spark企业级实战》与《Hadoop实战》《大数据处理系统·Hadoop源代码情景分析》《50个大厂大数据算法教程》等销量排行前10名的大数据技术书籍（文末领取PDF版）。这些书籍具有以下几个优点：易读、实践性强，对解决工作中遇到的业务问题具有一定启发性。