大数据发展历程

任何技术的出现，在前期都是理论先行，但此时没有应用场景，不会大规模的推开，那技术都得不到深度的发展。

任何技术深度的发展，都是在有了应用场景，降低了门槛，才会真正的发展起来。

大数据技术的发展也是这样的历程：

最开始是由于像谷歌，雅虎这样的搜索引擎，因为存储的网页数量巨大，才有了这样的大数据的概念。

所以大数据最早的应用场景就是搜索引擎，但因为此时的技术发展不成熟，最早还只是大数据的存储，和一点简单的大数据应用，比如检索，主要是21世纪初。

不像现在，经过20年的发展，大数据在各行各业都有了应用，不仅仅是存储，还包含计算和应用。

应用场景也从搜索引擎扩展到医疗，社交，电商，物流，交通，旅游等各行各业。

而大数据的发展，也从最早的大数据存储，发展出大数据的计算，以及大数据处理的资源管理。

首先是需要解决大数据的存储，之后是对存储的这么多数据进行计算处理，利用这些数据计算的结果，在处理大数据的过程中，单个机器的垂直扩展始终是有瓶颈，而水平扩展则是没有边界，水平扩展的这么多机器就需要发展出资源管理器统一管理这些机器。这样大数据的必须的三驾马车就齐备了。

大数据未来如何发展？

现在大数据也被提了很多年了，也有很多从业者了，有了大数据的发展生态，不管是Hadoop,spark 这些开源的框架让从业者能够快速搭建一个大数据系统，构建大数据系统的应用。

那展望未来，未来我们的生产生活只会创造越来越多的数据，对这些数据进行收集，清洗，分析，应用将会成为常态；我们需要更为强大的存储介质，计算能力，和管理系统；也许不仅仅是这三个方面，在更大数据的形态需要更高的要求。

将大数据基建化，大数据产业化，将会是未来的一个趋势。