Nvidia GPU 入门教程之 10 如何通过TensorFlow Datasets 下载海量数据集?
2023-09-11 14:18:29 时间
什么是TFDS?
TFDS 提供了一组现成的数据集,可与 TensorFlow、Jax 和其他机器学习框架一起使用。 它确定性地处理下载和准备数据并构造 tf.data.Dataset(或 np.array)。
安装
TFDS 存在于两个软件包中:
pip install tensorflow-datasets:稳定版,数月发行一次。
pip install tfds-nightly:每天发行,包含最近版本的数据集。
此 colab 使用 tfds-nightly:
pip install -q tfds-nightly tensorflow matplotlib
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds
查找可用的数据集
所有数据集构建器都是 tfds.core.DatasetBuilder 的子类。要获取可用构建器的列表,请使用 tfds.list_builders() 或查看我们的目录。
tfds.list_builders()
加载数据集
tfds.load
加载数据集最简单的方法是 tfds.load。它将执行以下操作:
下载数据并将其存储为 tfrecord 文件。
加载 tfrecord 并创建 tf.data.Dataset。
ds = tfds.l
相关文章
- CTB-LOCKER敲诈者病毒下载器脱壳之样本1
- huggingface预训练模型下载到本地如何使用和加载
- ZooInspe的下载使用
- SQL 横转竖 、竖专横 (转载) 使用Dapper.Contrib 开发.net core程序,兼容多种数据库 C# 读取PDF多级书签 Json.net日期格式化设置 ASPNET 下载共享文件 ASPNET 文件批量下载 递归,循环,尾递归 利用IDisposable接口构建包含非托管资源对象 《.NET 进阶指南》读书笔记2------定义不可改变类型
- vue+iview 通过a标签实现文件下载
- Google Earth Engine(GEE)——MCD12Q1 v006(Terra+Aqua )土地覆盖类型 每年 L3 全球 500 m SIN 网格数据中国区域下载
- Google Earth Engine(GEE)——COPERNICUS/S2高清影像去云处理和10米分辨率数据下载(海南岛为例)
- Google Earth Engine(GEE)——欧盟(EU)调查土地利用/覆盖矢量(LUCAS)点数据集无需GEE也可以下载
- 32分布式电商项目 - FastDFS文件上传与下载流程
- 世界是数据的,更是艺术的(下载)
- NAS安装迅雷远程下载
- Linux(Ubuntu)操作系统,vi编辑器与gcc编译器的下载与使用(命令参数很详细)
- Apache Tomcat下载、安装、配置图文教程
- 《机器学习与数据科学(基于R的统计学习方法)》——2.4 从网络中下载数据集
- Swift - 使用NSURLSession加载数据、下载、上传文件
- Python 网络教程大全之 05 如何获取url下载文件的大小?
- (数据科学学习手札80)用Python编写小工具下载OSM路网数据
- 万字长文深入理解java中的集合-附PDF下载
- 人脸检测和人体检测(行人检测)1:人脸检测和人体检测数据集(含下载链接)
- leaflet-webpack 入门开发系列一初探篇(附源码下载)
- arcgis api 3.x for js 实现克里金插值渲染图不依赖 GP 服务(附源码下载)
- 从浏览器如何下载资源来浅析HTTP2的新特性
- Aria2 Axel wget curl 四个下载命令
- SSH框架总结(框架分析+环境搭建+实例源代码下载)
- iOS开发之网络编程--4、NSURLSessionDataTask实现文件下载(离线断点续传下载) <进度值显示优化>
- 从github下载单个文件
- java下载excel,excel从数据库获取数据