拥抱开源 DevOps引领大数据生态系统
为了开展开源战略,基于大数据生态系统组件的应用程序必须加强,才能在生产中运行。 DevOps可能是其中的重要组成部分。
用户一直希望减少对供应商的依赖。但是,当他们了解当今大数据生态系统的复杂环境时,他们至少在某种程度上将承担一定的责任。
新风格的数据工程要求对DevOps进行整体的调整,这就是敏捷性方法的扩展,需要开发人员对创新应用在生产中的表现承担更多的责任。同时,工程师需要以更快的速度学习新的软件。
许多早期采用者不得不创建基于MapReduce的Hadoop应用程序,只能使用Spark处理引擎重新启动它们。
如今有各种开源产品用于分析,包括Hadoop SQL查询工具、机器学习和其他功能。开源数据流媒体空间就有一些例子,随着一系列新的实时系统不断进行批处理,这些数据流空间正在不断发展。
在流媒体中,分析工具层出不穷。先是早期的竞争者Apache Storm,接着又出现Apache Spark和Apache Flink,而且这一切都发生在短短的几年之内。
Hadoop联合创始人、Cloudera首席架构师Doug Cutting表示,这是现代数据工程的本质,今天人们必须做好试用软件组件的准备。
事实上,很难找到与多个流媒体架构合作的商店,而且其中涉及到很多在职学习。随着Spark通过最近宣布的Drizzle插件在时间流式中添加记录,就需要更多的学习。
数据工程师正在研究组件如何以不同的组合形式工作,这个过程是从概念验证转向生产的重要环节。最终用户和供应商都属于这个环节的一部分。
搞清楚你想要什么
回想一下:当供应商们作为唯一创新来源的日子里,用户往往处于被动地位。供应商仍然可能在大数据应用实施方面发挥很大的作用,但被动的用户就要承受更大的风险。
事实上,产品发布时间中至少有一些滞后时间与准备软件的供应商有关。开源大数据应用程序从概念验证到生产投入的艰难过程并非巧合。
但是,随着数据商店开始对新的开源应用程序进行变革,需要大量的创新。
为了继续推进大数据工程,团队需要非常认真地追求DevOps的信条,或者称之为DataOps,尤其是要求数据工程师和IT架构师负责将创新思想运用到生产过程中。
本文转自d1net(转载)
史上最全的开源 DevOps 工具 DevOps 越来越流行,越来越成为加快产品研发速度、提升团队效率的有效工具。现在,在开发、测试、部署、交付、维护以及监控分析等工作中,有越来越多的开源 DevOps 工具可以使用。 本文推荐了60款开源工具来帮助大家更好的实行 DevOps。
《阿里巴巴DevOps实践指南》电子版地址 本书分为开篇、敏捷研发篇、代码管理篇、持续交付篇和解决方案篇五大篇章,覆盖 DevOps 演进史、核心理念与阿里巴巴最佳实践的全方位解析,从DevOps到云效架构师教你搭建DevOps平台,想要实现高效研发,读这本书就没错啦!
《阿里巴巴DevOps实践指南》下载电子版 本书分为开篇、敏捷研发篇、代码管理篇、持续交付篇和解决方案篇五大篇章,覆盖 DevOps 演进史、核心理念与阿里巴巴最佳实践的全方位解析,从DevOps到云效架构师教你搭建DevOps平台,想要实现高效研发,读这本书就没错啦!
相关文章
- DevOps on DevCloud|如何实现应用接口的混合驱动测试
- 【华为敏捷/DevOps实践】5. 如何避免DevOps变革的六大“焦油坑”
- 云原生 DevOps 的 5 步升级路径
- DevOps - Gradle
- DevOps - DevOps精要 - 溯源
- DevOps - 代码与制品
- DevOps与阿里云容器服务(一)
- 应用生命周期终极 DevOps 工具包
- Atitit 运维之道 1.1.devops算是最低门槛了。什么运维平台,搞来搞去也就那些东西。无外乎cmdb、部署、监控之类的,再加点各种小平台自动化需求。 CMDB --Configurati
- 【项目实战】使用DevOps工具链SonarQube实现静态代码扫描,并且导出相应的报告
- 【华为敏捷/DevOps实践】9.以终为始,再谈持续交付流水线
- 【精彩回顾】DevOps测试之道
- k41.第十七章 K8s运维篇-DevOps 持续集成 持续部署 (一)
- 杂记 DevOps模式定义及优势
- 面向 Devops 的 Ansible 面试问答