全连接层的算力计算方式

神经网络的全链接层可以看成两个矩阵相乘的形式，如下图所示，一个MxN的矩阵乘以一个NxP的矩阵，得到一个MxP的矩阵，进行乘法的次数为：

（N）*（M*P）

加法次数为：

（N-1）*M*P

所以，综计算量为（N）*（M*P）+（N-1）*M*P = (2N-1)*M*P

每计算出一个结果，需要进行N次乘法和N-1次加法，计算一个结果的计算次数为2N-1.

比如，就拿3*3的矩阵乘法为例：

计算如下：