zl程序教程

您现在的位置是:首页 >  其他

当前栏目

Nvidia GPU 入门教程之 10 如何通过TensorFlow Datasets 下载海量数据集?

下载数据入门教程 如何 10 通过 Tensorflow GPU
2023-09-11 14:18:29 时间

什么是TFDS?

TFDS 提供了一组现成的数据集,可与 TensorFlow、Jax 和其他机器学习框架一起使用。 它确定性地处理下载和准备数据并构造 tf.data.Dataset(或 np.array)。

安装

TFDS 存在于两个软件包中:

pip install tensorflow-datasets:稳定版,数月发行一次。
pip install tfds-nightly:每天发行,包含最近版本的数据集。

此 colab 使用 tfds-nightly:

pip install -q tfds-nightly tensorflow matplotlib
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf

import tensorflow_datasets as tfds

查找可用的数据集

所有数据集构建器都是 tfds.core.DatasetBuilder 的子类。要获取可用构建器的列表,请使用 tfds.list_builders() 或查看我们的目录。

tfds.list_builders()

加载数据集

tfds.load
加载数据集最简单的方法是 tfds.load。它将执行以下操作:

下载数据并将其存储为 tfrecord 文件。
加载 tfrecord 并创建 tf.data.Dataset。

ds = tfds.l