【机器学习每日一问08】Resnet是什么？解决什么问题？

目的：

1. 解决网络退化问题。层数变多，效果反而变差。神经网络反而很难实现恒等变换（identity mapping）。（非线性转换是关键目标，它将数据映射到高纬空间以便于更好的完成“数据分类”。随着网络深度的不断增大，所引入的激活函数也越来越多，数据被映射到更加离散的空间，此时已经难以让数据回到原点）

2. 解决梯度消失问题。

算法流程：

首先残差单元可以表示为（ l 为浅层网络，L为深层网络）：

其中h 是一个恒等映射

深层网络L和浅层网络 l 的关系：

反向传播，之后

再对

求导：

其中的+1可以看到，梯度可以无损传播。若无此常数项，梯度就是一层一层相乘，有时会出现爆炸或消失的情况。