【转】Caffe初试(六)激活层及参数
参数 激活 Caffe 初试
2023-09-11 14:15:22 时间
在激活层中,对输入数据进行激活操作(实际上就是一种函数变换),是逐元素进行运算的。从bottom得到一个blob数据输入,运算后,从top输入一个blob数据。在运算过程中,没有改变数据的大小,即输入和输出的数据大小是相等的。
输入:n*c*h*w
输出:n*c*h*w
常用的激活函数有sigmoid,tanh,relu等,下面分别介绍。
1、Sigmoid
对每个输入数据,利用sigmoid函数执行操作。这种层设置比较简单,没有额外的参数。
层类型:Sigmoid
示例:
layer { name: "encode1neuron" bottom: "encode1" top: "encode1neuron" type: "Sigmoid" }
2、ReLU/Rectified-Linear and Leaky-ReLU
ReLU是目前使用最多的激活函数,主要因为其收敛更快,并且能保持同样效果。
标准的ReLU函数为max(x,0),当x>0时,输出x;当x<=0时,输出0
f(x)=max(x,0)
层类型:ReLU
可选参数:
negative_slope:默认为0。对标准的ReLU函数进行变化,如果设置了这个值,那么数据为负数时,就不再设置为0,而是用原始数据乘以negative_slope
layer { name: "relu1" type: "ReLU" bottom: "pool1" top: "pool1" }
3、TanH/Hyperbolic Tangent
利用双曲正切函数对数据进行变换。
层类型:TanH
layer { name: "layer" bottom: "in" top: "out" type: "TanH" }
4、Absolute Value
求每个输入数据的绝对值
f(x)=Abs(x)
层类型:AbsVal
layer { name: "layer" bottom: "in" top: "out" type: "AbsVal" }
5、Power
对每个输入数据进行幂运算
f(x)= (shift + scale * x) ^ power
层类型:Power
可选参数:
power: 默认为1
scale: 默认为1
shift: 默认为0
layer { name: "layer" bottom: "in" top: "out" type: "Power" power_param { power: 2 scale: 1 shift: 0 } }
6、BNLL
binomial normal log likelihood的简称
f(x)=log(1 + exp(x))
层类型:BNLL
layer { name: "layer" bottom: "in" top: "out" type: “BNLL” }
以上。
相关文章
- Mybatis将参数作为查询字段或表名
- 常见游戏音频中间件的参数对比与wwise引擎入门
- js replace 全局替换 以表单的方式提交参数 判断是否为ie浏览器 将jquery.qqFace.js表情转换成微信的字符码 手机端省市区联动 新字体引用本地运行可以获得,放到服务器上报404 C#提取html中的汉字 MVC几种找不到资源的解决方式 使用Windows服务定时去执行一个方法的三种方式
- Python3 第三方线程池threadpool多参数和结果处理总结
- 【MATLAB教程案例95】基于GA遗传优化的PID控制器最优控制参数计算
- OpenCV1.X的直方图归一化函数cvNormalizeHist()的参数意义
- HttpClient4.X发送带参数的Get请求
- MVC如何避免控制器方法接收到的值不能被转换为参数类型
- JS——剩余参数和arguments对象
- SpringBoot@RequestParam @RequestBody @PathVariable 等参数绑定注解详解
- SpringMVC 页面传递参数到controller的五种方式
- MSYS2 4:Pacman 参数说明
- 《C#零基础入门之百识百例》(八十二)泛型类型参数Where约束 -- 泛型单例
- 一些常用的curl命令及参数
- (原)模型的参数初始化