ABReLU激活函数

论文：Average Biased ReLU Based CNN Descriptor for Improved Face Retrieval

年份：2022

ABReLU是一种新的数据相关的平均偏差校正线性单元。ReLU激活函数当负输入时，负向梯度逐渐减小，而我们总是期望输出的激活平均值为0方差为1，可是由于ReLU的负区域的死亡问题，在经过一些层之后，激活的平均值远离0。ABReLU的设计就是为了在一定程度上这个问题，它允许甚至是负面数据被传递到下一层。

ABReLU通过利用输入体积的平均属性来激活数据的。它像过滤器一样，只通过满足平均偏差标准的信号。假设在第$n^{th}$层的任意网络中使用ABReLU，$I_i^n$和$I_o^n$分别表示第$n$层的激活输入和激活输出。则输出激活$I_o^n$的每个元素${\rho }^{t}h$被表示为：
$$I_o^n(\rho )=\{\begin{array}{ll}{I}_i^n(\rho )-\beta ,& I_i^n(\rho )-\beta >0\\ 0,& otherwise\end{array}$$
其中$\rho =({\rho }_1,{\rho }_2,\cdots ,{\rho }_d)$为表示元素的位置，$d$是输入激活的$I_i^n$的维度，$D_k$是输入激活$I_i^n$第$k^{th}$个维度的大小 ，${\rho }_k\in [1,D_k]$， $\forall k\in [1,d]$，$\beta$为平均偏置因子，定义如下：
$$\beta =\alpha \times A_i^n$$
其中，$\alpha$为经验设定的参数，$A_i^n$为输入体积的平均值，计算如下：
$$A_i^n=\frac{{\sum }_{{\rho }_1=1}^{D^1}{\sum }_{{\rho }_2=1}^{D^2}\cdots {\sum }_{{\rho }_d=1}^{D^d}({\rho }_1,{\rho }_2,\cdots ,{\rho }_d)}{D_1\times D_2\times \cdots \times D_d}$$

具体的函数图像如下图

ABReLU计算的平均偏差就像控制器一样控制着正负值的支配位置。如果$A_i^n<0$，负值占主导地位，那么负值被利用的可能性较大。ABReLU不像ReLU那样简单的丢弃负值，而是找到重要的负值，并增加偏差，使其转向正值。