Hadoop与大数据2015的趋势与挑战
大数据通常会引发商业智能的快速可用性,这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。
根据IDC对2015年的估计,全球大数据市场(包括利用Hadoop进行高级分析)将会增至1250亿的规模。可以预见到企业在Hadoop顶端构建智能应用将是未来的趋势。让我们来对2015年大数据和Hadoop的趋势进行一番预测。
富媒体分析
企业希望能更多的基于视频,图片以及音频来进行分析。大公司已经开始利用这些富媒体分析来保持在竞争中的领先地位。
据来自IDC的消息,富媒体分析将会变成一项关键的投资考量并且可能会在2015年底增加三倍。
填补Hadoop解决方案的空白
Hadoop是一个开源平台,用来存储和处理结构化和非结构化数据。根据ForresterResearch的说法,对于Hadoop来说,在数据管理和治理解决方案上还有很多空白。
在这里,诸如Oracle,IBM和Microsoft之类的企业级软件公司将会继续使用他们自己的数据管理和治理工具在Hadoop环境下与企业应用进行同步并在本地运行,以此来填补空白。
内部Hadoop人才的发展
目前Hadoop技术在全球市场上存在不足是一个已知的事实。然而,作为一个开源平台,企业级Java应用开发人员很容易进行深入挖掘并学习相关API。
Forrester Research认为在2015年会看到更多的公司让其内部应用开发团队使用Java来执行大数据和Hadoop项目。这就意味着随着企业内部对必需的Hadoop专业知识的发展,当前Hadoop技能的短缺局面会有效缓解。
对单独SQL的需求量增加
对于在数据库上进行读写来说,SQL应用(用于Hadoop内部或之上)是至关重要的。IT团队已经开始使用不同的SQL语言来解决不同的与大数据相关的业务查询。
但是,一些问题也随之而来,例如管理层可能无法及时获取他们所需的情报。信息只有在需要时可用才是有意义的,否则就只不过是对企业资源的一种浪费。这就是为什么对于用单独SQL语句来访问企业存储于不同地点所有数据的需求将会增加的原因。这最终可能会让数据存储相关的决策由诸如成本以及更快的访问这些因素来决定,而不是取决于去覆盖SQL的局限性。
安全和治理解决方案得以完善
大数据安全解决方案将会在基于对网络模式的定期监控(甚至可能是实时的)来定位异常活动上扮演重要角色。
据InternationalInstitute of Analytics(IIA 国际分析研究所)的消息,这最终会在2015年成为企业用来防范网络犯罪的必备之选。而对于治理Hadoop系统安全和应用访问控制以保证与企业安全策略相符合的需求将会持续增长。
本文作者:佚名
来源:51CTO
大数据基础之初识Hadoop 你好看官,里面请!今天笔者讲的是大数据基础:初识Hadoop。不懂可以在评论区留言,我看到会及时回复。 注意:本文仅用与学习参考,不可用于商业用途。
大数据知识面试题-Hadoop Block与Splite区别:Block是HDFS物理上把数据分成一块一块;数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行存储。如下图所示,一个512M的文件在HDFS上存储时,默认一个block为128M,那么该文件需要4个block进行物理存储;若对该文件进行切片,假设以100M大小进行切片,该文件在逻辑上需要切成6片,则需要6个MapTask任务进行处理。
相关文章
- 2017就在眼前,深度学习有哪十大趋势值得关注?
- 2017年大数据产业发展呈六大趋势
- 金融安全资讯精选 2017年第五期:2017年金融安全威胁演进趋势,纽约发布金融安全新政策,金融企业如何选择安全的云
- 趋势已成:未来5年AI在银行业的5大应用
- 2017年,塑造大数据行业的五大趋势
- 趋势科技移动客户端病毒报告
- 从被动防护到主动监控 RSA2015呈现Web安全防护新趋势
- 【产品】未来趋势
- 全球大数据发展呈现六大趋势
- 数字物业管理成趋势,传统物业公司如何通过转型实现数字化蝶变?
- 2016年 DDoS 攻击的四大趋势
- 专访张伟钦:趋势科技云计算安全5.0解读
- 安防产业楼宇对讲+视频监控成趋势
- 2017年物联网将会出现的五个关键趋势
- 云存储四大趋势:看Microsemi如何创新
- 从2019-nCoV趋势预测问题,联想到关于网络安全态势预测问题的讨论