改变网络结构设计为什么会实现模型压缩和加速

Group convolution

​　　Group convolution最早出现在AlexNet中，是为了解决单卡显存不够，将网络部署到多卡上进行训练而提出。Group convolution可以减少单个卷积1/g的参数量。如何计算的呢？

假设

• 输入特征的的维度为$HWC_1$;
• 卷积核的维度为$H_1W_1C_1$，共$C_2$个；
• 输出特征的维度为$H_1W_1C_2$ 。

传统卷积计算方式如下：

传统卷积运算量为：

$$ A = H*W * h1 * w1 * c1 * c2 $$

　　Group convolution是将输入特征的维度c1分成g份，每个group对应的channel数为c1/g，特征维度H * W * c1/g；，每个group对应的卷积核的维度也相应发生改变为h1 * w1 * c1/9，共c2/g个；每个group相互独立运算，最后将结果叠加在一起。
Group convolution计算方式如下：

Group convolution运算量为：

$$ B = H * W * h1 * w1 * c1/g * c2/g * g $$ Group卷积相对于传统卷积的运算量：

$$ \dfrac{B}{A} = \dfrac{ H * W * h1 * w1 * c1/g * c2/g * g}{H * W * h1 * w1 * c1 * c2} = \dfrac{1}{g} $$

由此可知：group卷积相对于传统卷积减少了1/g的参数量。

Depthwise separable convolution

Depthwise separable convolution是由depthwise conv和pointwise conv构成。

depthwise conv(DW)有效减少参数数量并提升运算速度。但是由于每个feature map只被一个卷积核卷积，因此经过DW输出的feature map不能只包含输入特征图的全部信息，而且特征之间的信息不能进行交流，导致“信息流通不畅”。

pointwise conv(PW)实现通道特征信息交流，解决DW卷积导致“信息流通不畅”的问题。 假设输入特征的的维度为H * W * c1；卷积核的维度为h1 * w1 * c1，共c2个；输出特征的维度为 H1 * W1 * c2。

传统卷积计算方式如下：

传统卷积运算量为：

$$ A = H * W * h1 * w1 * c1 * c2 $$

DW卷积运算量为： $$ B_DW = H * W * h1 * w1 * 1 * c1 $$

PW卷积的计算方式如下：

$$ B_PW = H_m * W_m * 1 * 1 * c_1 * c_2 $$

Depthwise separable convolution运算量为：

$$ B = B_DW + B_PW $$ Depthwise separable convolution相对于传统卷积的运算量：

$$ \dfrac{B}{A} = \dfrac{ H * W * h_1 * w_1 * 1 * c_1 + H_m * W_m * 1 * 1 * c_1 * c_2}{H * W * h1 * w1 * c_1 * c_2}= \dfrac{1}{c_2} + \dfrac{1}{h_1 * w_1} $$

由此可知，随着卷积通道数的增加，Depthwise separable convolution的运算量相对于传统卷积更少。

输入输出的channel相同时，MAC最小

　　卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。

　　假设feature map的大小为h*w，输入通道$c_1$，输出通道$c_2$。

已知：

$$ FLOPs = B = h * w * c1 * c2=> c1 * c2 = \dfrac{B}{h * w}$$

$$ MAC = h * w * (c1 + c2) + c1 * c2$$

$$ => MAC \geq 2 * h * w \sqrt{\dfrac{B}{h * w}} + \dfrac{B}{h * w} $$

　　根据均值不等式得到$(c1-c2)^2>=0$，等式成立的条件是c1=c2，也就是输入特征通道数和输出特征通道数相等时，在给定FLOPs前提下，MAC达到取值的下界。

减少组卷积的数量

过多的group操作会增大MAC，从而使模型速度变慢

由以上公式可知，group卷积想比与传统的卷积可以降低计算量，提高模型的效率；如果在相同的FLOPs时，group卷积为了满足FLOPs会是使用更多channels，可以提高模型的精度。但是随着channel数量的增加，也会增加MAC。

FLOPs：

$$ B = \dfrac{h * w * c1 * c2}{g} $$

MAC：

$$ MAC = h * w * (c1 + c2) + \dfrac{c1 * c2}{g} $$

由MAC，FLOPs可知：

$$ MAC = h * w * c1 + \dfrac{B*g}{c1} + \dfrac{B}{h * w} $$

当FLOPs固定(B不变)时，g越大，MAC越大。

减少网络碎片化程度(分支数量)

模型中分支数量越少，模型速度越快

此结论主要是由实验结果所得。

以下为网络分支数和各分支包含的卷积数目对神经网络速度的影响。

　　实验中使用的基本网络结构，分别将它们重复10次，然后进行实验。实验结果如下：

　　由实验结果可知，随着网络分支数量的增加，神经网络的速度在降低。网络碎片化程度对GPU的影响效果明显，对CPU不明显，但是网络速度同样在降低。

减少元素级操作

元素级操作所带来的时间消耗也不能忽视

ReLU ，Tensor 相加，Bias相加的操作，分离卷积（depthwise convolution）都定义为元素级操作。

　　FLOPs大多数是对于卷积计算而言的，因为元素级操作的FLOPs相对要低很多。但是过的元素级操作也会带来时间成本。ShuffleNet作者对ShuffleNet v1和MobileNet v2的几种层操作的时间消耗做了分析，发现元素级操作对于网络速度的影响也很大。

参考

【Github文章】深度学习500问

深度学习500问PDF版本

• 链接：https://pan.baidu.com/s/1jbCxM_B_D5q__446ESuaRA
• 提取码：cuup