Spark-TFRecord:Spark将完全支持TFRecord

Spark-TFRecord:Spark将完全支持TFRecord
共同作者: Jun Shi, Mingzhou Zhou

简介

在机器学习社区中，Apache Spark 支持SQL高效操作而被广泛用于数据处理，而TensorFlow是业界最主流的人工智能框架。尽管这两种工具都支持一些数据格式，但是Spark并不完全支持TFRecord—TensorFlow的原生数据格式。虽然以前试图在这两个系统之间架起桥梁(例如，Spark-Tensorflow-Connector)，但现有的实现忽略了Spark提供的一些重要特性。

在这篇文章中，我们介绍Spark的一个新的数据源Spark-TFRecord 。Spark-TFRecord的目标是为Spark中的原生TensorFlow数据格式提供全面支持。这个项目的目的是在Spark数据源社区中将TFRecord作为一等公民，类似于其他内部格式如Avro、JSON、Parquet等。Spark-TFRecord不仅提供了简单的函数&#x