PyTorch的自动混合精度(AMP)
2023-09-27 14:20:40 时间
背景
PyTorch 1.6版本今天发布了,带来的最大更新就是自动混合精度。release说明的标题是:
- Stable release of automatic mixed precision (AMP).
- New Beta features include a TensorPipe backend for RPC, memory profiler,
- and several improvements to distributed training for both RPC and DDP.
可见自动混合精度正是PyTorch 1.6的最大更新。这就带来了几个问题:
- 什么是自动混合精度训练?
- 为什么需要自动混合精度?
- 如何在PyTorch中使用自动混合精度?
什么是自动混合精度训练?
我们知道神经网络框架的计算核心是Tensor,也就是那个从scaler -> array -> matrix -> tensor 维度一路丰富过来的tensor。在PyTorch中,我们可以这样创建一个Tensor:
相关文章
- 内存总是不够?HBase&GeoMesa配置优化了解一下
- 自然语言处理(NLP)-下游任务&数据集:语言模型、机器翻译、问答、文本分类、情感分析、文本生成、自动摘要、命名实体识别、阅读理解、自然语言推理、信息提取、词性标注、共指消解、实体链接【>200项】
- DOM & BOM – 冷知识 (新手)
- angular2 学习笔记 ( aot & production 预编辑 & 出街 )
- tomcat启动窗口报错&&eclipse使用maven编译时报错
- 自动精简配置&重复数据删除核心技术点及其经济效应探究
- 【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书
- java中为什么要用BufferedReader,BufferedWriter"包装" Reader 和 Writer
- ElasticStack系列之二十 & 数据均衡、迁移、冷热分离以及节点自动发现原理与机制
- zoj 2874 & poj 3308 Paratroopers (最小割)
- bzoj2187 fraction&&hdu3637 Find a Fraction——类欧几里得
- 日常开发遇到的坑click && focus事件 运行2次函数的解决方法
- Linux Kernel Synchronization && Mutual Exclusion、Linux Kernel Lock Mechanism Summarize
- window系统下的堆栈溢出 作者:ipxodi>
- IPHONE省电省流量技巧 & 电池状况查询
- 点点细雨的项目日记(四) 权…
- [unity3d]鼠标点击地面人物自动走动(也包含按键wasd&space控制)
- Git学习-->如何通过Shell脚本自动定时将Gitlab备份文件复制到远程服务器?
- 我的Android进阶之旅------>Android疯狂连连看游戏的实现之状态数据模型(三)