激活函数nn.ReLU(inplace=True)中inplace的作用
函数 作用 激活 True NN ReLU
2023-09-14 09:14:44 时间
nn.ReLU(inplace=True)
参数inplace=True:
inplace为True,将计算得到的值直接覆盖之前的值
inplace:can optionally do the operation in-place. Default: False
注: 产生的计算结果不会有影响。利用in-place计算可以节省内(显)存,同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖,只要不带来错误就用。
例如:x = x+1
即对原值x进行+1操作后得到的值,直接赋值给x,而不是如下找一个中间变量y:
y=x+1
x=y
先将x进行+1操作后赋值给中间变量y,然后将y值赋给x
这样就需要内存存储变量y
因此当inplace=True时:
就是对从上层网络nn.Conv2d中传递下来的tensor直接进行修改,这样能够节省运算内存,不用多存储其他变量。
原文链接:https://blog.csdn.net/AugustMe/article/details/92589979
原文链接:https://blog.csdn.net/zhanly19/article/details/99232815
相关文章
- 【说站】python函数中返回值的作用
- 【数据库原理与运用|MySQL数据库】MySQL存储函数和触发器
- PHP 函数传值和传引用的区别
- 【C 语言】文件操作 ( 文件加密解密 | 使用第三方 DES 加密解密库 | 头文件导入 | 兼容 C++ 语言 | 加密解密函数说明 )
- java常用字符串操作函数详解编程语言
- PHP MySQL函数:用于数据库操作的功能强大工具(phpmysql函数)
- 应用MySQL数值函数:应用于数据精准表达(mysql数值函数)
- Linux中atoi函数的作用(linuxatoi)
- 函数Linux 中 atoi 函数的作用(linuxatoi)
- MySQL字符函数的用法及精彩作用(mysqlchar函数)
- Linux中munmap函数的作用和用法简介(linuxmunmap)
- MySQL中sum函数的作用(mysql中sum的作用)
- Oracle中nav函数的应用(nav()oracle)
- MySQL函数详解,解析函数在数据库中的作用及使用方法(mysql中函数是什么)
- 什么oracle中nvl函数的作用及其实现原理(oracle中nvl是)
- 利用Oracle NVLIF函数解决空值问题(oracle nvlif)
- javaequals函数用法详解
- php中get_headers函数的作用及用法的详细介绍
- PHP中imagick函数的中文解释