TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”
雅虎昨日宣布开源 TensorFlowOnSpark。
它使得深度学习框架 TensorFlow 能与 Apache Spark 中的数据集兼容。对于使用 Spark 来处理不同类型数据的机构和开发者来说,这无疑是一个好消息。TensorFlowOnSpark 的开源代码,已基于 Apache 2.0 协议在 GitHub 上发布。
众所周知,深度学习有海量数据需求。雷锋网了解到,许多业内公司利用 Spark 对超大规模的数据集进行管理。让深度学习框架直接、方便地获取这部分数据,将为 ML 开发提供极大助力。
雅虎在官方博客中宣布了这一消息,并解释了此前雅虎 Big ML 开发团队遇到的问题:
“现有的深度学习框架,往往需要设立单独的深度学习数据组。这强迫我们为同一个机器学习流水线创建多个程序。维护多个独立的数据组,要求我们在它们之间传输海量数据集——这导致不必要的系统复杂性和端到端的学习延迟。”
为解决这一问题,雅虎此前开发了 CaffeOnSpark。它使得基于 Caffe 机器学习框架开发的程序,能与 Apache Spark 兼容。雷锋网(公众号:雷锋网)了解到,雅虎已将基于 CaffeOnSpark 的程序,用于鉴别搜索中的不恰当搜索结果,以及自动探测电子竞技游戏直播视频中的关键看点。
雅虎去年开源了 CaffeOnSpark。如今它对 TensorFlow 做了同样的工作。两者的原理几乎相同,只是把机器学习框架换成了 TensorFlow。
雅虎表示,把 TensorFlow 程序移植到 TensorFlowOnSpark 相对方便,并经过反公司内部的反复验证。
“这通常只需要修改十行以内的 Python 代码。许多使用 TensorFlow 的雅虎开发者已轻松地把 TensorFlow 程序,移植到 TensorFlowOnSpark 执行。”
雷锋网获知,雅虎会持续为 TensorFlowOnSpark 和 CaffeOnSpark 提供支持,并欢迎开源社区对两者进行改进。对于 TensorFlowOnSpark 工作原理的详细解释,请参考雅虎博客。
via yahoo,siliconangle,venturebeat
相关文章:
谷歌刚发布的深度学习动态计算图工具TensorFlow Fold是什么?
TensorFlow 1.0 要来了!它将带来哪些革命性变化?
本文作者:三川
本文转自雷锋网禁止二次转载,原文链接
《Apache Spark 中文实战攻略下册》电子版地址 《Apache Spark 中文实战攻略(下册)》让企业大数据平台性能更优。阿里、Databricks、领英、Intel都在用!Spark 企业级最佳实践中文解读全收纳!
《Apache Spark 中文实战攻略上册》电子版地址 《Apache Spark 中文实战攻略(上册)》全新收录了Spark+AI Summit 2020 中文精华版峰会,Apache Spark 3.0性能优化与基础实战一书看遍!
《Apache Spark 中文实战攻略下册》电子版 《Apache Spark 中文实战攻略(下册)》让企业大数据平台性能更优。阿里、Databricks、领英、Intel都在用!Spark 企业级最佳实践中文解读全收纳!
云栖大讲堂 擅长前端领域,欢迎各位热爱前端的朋友加入我们( 钉钉群号:23351485)关注【前端那些事儿】云栖号,更多好文持续更新中!
相关文章
- suse linux中apache+php服务器安装
- 开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别
- 开源当自立,Apache 基金会与 GitHub 都受美国法律约束
- Apache Libcloud:将所有云连在一起的开源云库
- 一张图看懂开源许可协议,开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别
- Apache Shiro 使用手册(五)Shiro 配置说明
- 一张图看懂开源许可协议,开源许可证GPL、BSD、MIT、Mozilla、Apache和LGPL的区别(转)
- mybatis配置的常见错误 org.apache.ibatis.exceptions.PersistenceException Unknown database Cannot find class
- Apache基金会接受阿里开源JStorm捐赠
- 查看Apache并发请求数及其TCP连接状态
- apache下部署showdoc
- Apache服务器 配置多个网站解决方案
- 已解决nested exception is org.apache.ibatis.exceptions.PersistenceException
- 调优 | Apache Hudi应用调优指南
- thinkPhp apache修改hosts 实现访问浏览器域名 访问本地 phpstrom访问
- 通向架构师的道路(第一天)之Apache整合Tomcat
- 大数据HBase(九):Apache Phoenix的安装
- apache源码安装必须依赖的库apr----/etc/ld.so.conf 文件介绍