大数据应用:论底层基础设施硬件到底有多重要
对于当今的企业级服务市场来说,大数据技术的不断深入已经使得很多行业的用户开始拥抱大数据,我们都知道,对于数据而言,我们每天所产生的海量数据需要有一个强有力且安全的平台来对这些数据进行收集、分析从而为用户提出一个切实可行的方案,来帮助用户解决因数据困难导致的企业IT问题。
对于整个大数据行业来说,基本上可以分为三层,分别是底层基础平台,中间层通用技术,上层行业应用。那么对于一家大数据服务企业来说,为用户提供基于这三个平台的大数据服务的过程当中,这些平台的根本,其实是需要一个强大的底层硬件基础平台来为这些海量数据做保障和支撑的。
Hadoop:底层技术的明星
对于底层的基础平台来说,其主要起到了数据存储、计算等过程当中的问题,它也是整个大数据生态当中的根本基石,用户从采集到数据开始,底层基础平台就是保证用户能够把这些数据高效、快捷的进行存储,而后才能进行高效的数据分析和挖掘,从而帮助用户解决企业IT问题。
统观当前国内的企业级市场,真正把目光专注于Hadoop的企业级厂商数量其实并不是太多,有业内专家曾经指出,在进入新世纪后的第一个十年当中,跟多企业都把发展的重点放在了IT设备的采购、数据中心机房的建设以及各种办公系统的上线等方面,而第二个十年当中,随着经济形势的下行,使得传统企业的盈利开始出现下降的趋势,对于企业级用户来讲,对于IT设备的采购也就不像之前那十年那样狂热了。
以Hadoop为代表的新底层技术能够兴起,抛开技术原因,最主要的原因是便宜、扩展性强。利用分布式架构,将一些性能一般的机器串联起来,达到与高性能单机同样的效果。随着公司发展,数据量增大,不需要更换全套设备,只需要再增加机器就可以达到目的,省时省力。
利用Hadoop发展起来的商业模式
以微软的Cosmos为例,这套系统本身优于Hadoop,主要是针对大型机房,设计理念很好,上万台机器的机房,拿出几十台做别的事情,来提升系统运营效率。但如果是几十台机器,仍然需要拿出很大一部分来做别的事情,机器使用效率就很低。
实际应用时,用上万台机器的公司少,用几十台机器的公司多,因此Hadoop的应用面更广。用的人多,自然帮助优化架构的人多,社区贡献的人多,技术发展快,渐渐成为主流。
Hadoop技术是开源的,为什么还有公司会提供Hadoop相关服务?这是因为开源技术的兼容性和稳定性比较差,同时,企业在实际应用中需要将开源技术和自身系统、产品相连接,这就是Hadoop发行版的市场所在。
当前,银行等大型企业纷纷喊出“去IOE”(IBM小型机、Oracle数据库、EMC存储设备),尽管国产企业的产品尚不能满足大型企业核心系统的要求,但是必然会有大量新业务的IT系统采用国产品牌,旧有业务面临更新换代也会优先选择国内厂商。
数据库等底层设施不同于上层应用,更换成本较高,客户黏性很大,非万不得已不会进行替换,同时Hadoop这类新技术迭代速度快,需要后期维护。因此,各家公司都在大力开拓市场,跑马圈地。
发展大潮下创业公司有几分机遇?
随着IT领域“去IOE”浪潮的快速发展,已经开始有越来越多的中国企业都在面对更换自身原有的IT硬件设备的问题,这对于整个底层基础平台市场来说是一个绝好的发展机遇,因此近些年我们也可以看到越来越多的初创型公司利用其技术优势和初创公司的高效决策机制,迅速抢占一些市场份额,占据一席之地。这类公司主要服务金融、电信、交通、电力等领域的大型企业,这些领域原本是传统集成商的地盘,因此新兴大数据公司不可避免地将与集成商正面竞争。
底层基础平台不同于上层应用,客户需求类似,产品很难体现出差异化优势。各家公司主要比拼产品性能的优劣,这种技术上的差异,新兴公司最初会占据一定优势,随着开源技术的普及,很多公司也会逐步赶上,技术的差距会逐步缩小。
Hadoop诞生于2006年,Spark于2009年出现,2013年Hadoop已经发布2.0稳定版本,两种技术从诞生到成熟时间之短,令人震惊。在当今这个技术快速发展的时代,新兴大数据公司一方面要应对市场竞争,另一方面还要保持技术的领先地位,难度不小。
对于大数据产业来说,除了在平台化管理要从用户角度出发之外,对于企业的底层硬件平台来说,也需要更加迎合实际的应用环境来对产品进行采购和升级换代,一个强大、安全、稳定的底层硬件平台对于大数据在用户端的丰富应用起到了决定性的作用,所以我们说,一切还是要以用户的需求作为根本出发点。
本文作者:佚名
来源:51CTO
5条建议,让应用软件服务发挥云计算平台的优势 传统的企业应用软件开发者,在软件开发的哪些方面应该做出调整,以利用云计算的优势,开发出可快速扩展、可自动维护的互联网级的应用服务?
一种混合型云计算安全架构 本文讲的是一种混合型云计算安全架构,拜迅猛发展的IT所赐,如今在企业的“自行开发还是购买产品”的选单上又多了一个“是否将其放入云中”的选项。不论你是喜欢还是厌恶,云计算正以其自己的步调走进我们的生活,走进各大企业。
从底层看云:云计算准备好了么? 本文讲的是从底层看云:云计算准备好了么,在目前严峻的经济形势下,C级别高管在提及IT时常说“我已经在考量云计算,为什么我们不能使用云来代替购买如此多的服务器呢”,这种想法逐渐变得普遍,但是云准备好了吗?因为优秀的工程师都会说答案是“视情况而定”。
数据存储行业因虚拟化和云计算而变 本文讲的是数据存储行业因虚拟化和云计算而变,IT销售增长率与十年前相比低了许多,而用户们一心想最大限度地提高自身IT环境的效率。
相关文章
- 大数据政府的五大应用
- 医疗领域应用大数据技术的难题:收集信息
- 你的应用是如何被替换的,App劫持病毒剖析
- 《数据库技术原理与应用教程第2版》——1.3数据与数据库
- 《iOS 9应用开发入门经典(第7版)》——第1章,第1.3节运行iOS应用
- 「基于Django的全民健康智慧中医数字服务平台」前端应用API接口功能(三)
- Python网站导航项目-3.导航数据后端管理应用开发
- Qt数据库应用4-数据打印到纸张
- 《深入解析sas:数据处理、分析优化与商业应用》一3.2 操作数据集的观测
- 《应用时间序列分析:R软件陪同》——3.2 一元时间序列数据实例分析
- 阿里人工智能实验室王刚:找到合适的应用场景是实现人工智能商业化的关键点
- [5] ADB 与应用交互
- LiFi新突破:传输速度最高可达224G/秒 有望在4年内应用
- 基于大数据应用探索“互联网+卷烟市场监管”新模式
- 监管科技应用之贵州样本:大数据助力防范互金风险
- 传统金融的大数据应用与创新
- 首届中国大数据应用大会在蓉开幕
- 一个大数据应用是如何炼成的?
- 曹工杂谈:我们的应用,启动就要去其他服务拉数据,那其他服务挂了,我们就起不来了?
- 常用CAD标注快捷键有哪些?CAD标注快捷键应用技巧