resnet讲解_resnet50网络结构详解
1、 RestNet网络
1.1、 RestNet网络结构
ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域里得到广泛的应用。它使用了一种连接方式叫做“shortcut connection”,顾名思义,shortcut就是“抄近道”的意思,下面是这个resnet的网络结构:
它对每层的输入做一个reference(X), 学习形成残差函数, 而不是学习一些没有reference(X)的函数。这种残差函数更容易优化,能使网络层数大大加深。在上图的残差块中它有二层,如下表达式, 其中σ代表非线性函数ReLU。
然后通过一个shortcut,和第2个ReLU,获得输出y。
当需要对输入和输出维数进行变化时(如改变通道数目),可以在shortcut时对x做一个线性变换Ws,如下式。
然而实验证明x已经足够了,不需要再搞个维度变换,除非需求是某个特定维度的输出,如是将通道数翻倍,如下图所示:
由上图,我们可以清楚的看到“实线”和“虚线”两种连接方式, 实线的Connection部分 (第一个粉色矩形和第三个粉色矩形) 都是执行3x3x64的卷积,他们的channel个数一致,所以采用计算方式: Y = F(x) + x,虚线的Connection部分 (第一个绿色矩形和第三个绿色矩形) 分别是3x3x64和3x3x128的卷积操作,他们的channel个数不同(64和128),所以采用计算方式: y=F(x)+Wx 。其中W是卷积操作,用来调整x的channel维度。 在计算机视觉里,网络的深度是实现网络好的效果的重要因素,输入特征的“等级”随增网络深度的加深而变高。然而在网络深度不断加深的情况下,梯度弥散/爆炸成为训练深层次的网络的障碍,导致导致网络无法收敛。虽然,归一初始化,各层输入归一化,使得可以收敛的网络的深度提升为原来的十倍。虽然网络收敛了,但网络却开始退化 (增加网络层数却导致更大的误差), 如下图所示:
由上图可知,在一个浅层网络的基础上叠加y=x的层(称identity mappings,恒等映射),可以让网络随深度增加而不退化。这反映了多层非线性网络无法逼近恒等映射网络。 但是,在深度学习中我们希望有更好性能的网络,而网络不退化则不是我们的目的。 在 RestNet网络中学习的残差函数是F(x) = H(x) – x, 这里如果F(x) = 0, 那么就是上面提到的恒等映射(H(x) = x)。事实上,RestNet是“shortcut connections”的在connections是在恒等映射下的特殊情况,它没有引入额外的参数和计算的复杂度。 假如优化目标函数是逼近一个恒等映射, 而不是0映射(F(x) = 0)或者说恒等映射,那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。
1.2、残差块的两种结构
这是文章里面的图,我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“,也是文中提到identity mapping,这张图也诠释了ResNet的真谛,当然大家可以放心,真正在使用的ResNet模块并不是这么单一,文章中就提出了两种方式:
这两种结构分别针对ResNet34(左图)和ResNet50/101/152(右图),一般称整个结构为一个“building block” 。其中右图又称为“bottleneck design”,目的就是为了降低参数的数目,实际中,考虑计算的成本,对残差块做了计算优化,即将两个3×3的卷积层替换为1×1 + 3×3 + 1×1,如右图所示。新结构中的中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算,然后在另一个1×1的卷积层下做了还原,既保持了精度又减少了计算量。第一个1×1的卷积把256维channel降到64维,然后在最后通过1×1卷积恢复,整体上用的参数数目:1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632,而不使用bottleneck的话就是两个3x3x256的卷积,参数数目: 3x3x256x256x2 = 1179648,差了16.94倍。 对于常规ResNet,可以用于34层或者更少的网络中,对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中,目的是减少计算和参数量。
1.3、ResNet50和ResNet101简单讲解
这里把ResNet50和ResNet101特别提出,主要因为它们的使用率很高,所以需要做特别的说明。给出了它们具体的结构:
上表是Resnet不同的结构,上表一共提出了5中深度的ResNet,分别是18,34,50,101和152,首先看表的最左侧,我们发现所有的网络都分成5部分,分别是:conv1,conv2_x,conv3_x,conv4_x,conv5_x,之后的其他论文也会专门用这个称呼指代ResNet50或者101的每部分。 例如:101-layer那列,101-layer指的是101层网络,首先有个输入7x7x64的卷积,然后经过3 + 4 + 23 + 3 = 33个building block,每个block为3层,所以有33 x 3 = 99层,最后有个fc层(用于分类),所以1 + 99 + 1 = 101层,确实有101层网络; 注:101层网络仅仅指卷积或者全连接层,而激活层或者Pooling层并没有计算在内;我们关注50-layer和101-layer这两列,可以发现,它们唯一的不同在于conv4_x,ResNet50有6个block,而ResNet101有23个block,两者之间差了17个block,也就是17 x 3 = 51层。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/184954.html原文链接:https://javaforall.cn
相关文章
- java 泛型详解-绝对是对泛型方法讲解最详细的,没有之一「建议收藏」
- 单调队列和单调栈详解
- Java设计模式详解
- SQLMAP插件tamper编写与使用详解
- Linux dumpe2fs命令详解程序员
- Python-PostgreSQL的使用详解数据库
- ASI框架使用全集讲解详解手机开发
- Mysql性能调优工具Explain结合语句讲解详解数据库
- Mysql优化_慢查询开启说明及Mysql慢查询分析工具mysqldumpslow用法讲解详解数据库
- android应用内跳转到微信详解手机开发
- vi 和vim 的区别详解程序员
- JAVAEE——SpringMVC第一天:介绍、入门程序、架构讲解、SpringMVC整合MyBatis、参数绑定、SpringMVC和Struts2的区别详解编程语言
- Java 动态绑定机制的内幕详解编程语言
- java8 新操作符::做方法引用详解编程语言
- C/C++中substr函数的应用(简单讲解)详解编程语言
- Python学习:10.Python装饰器讲解(一)详解编程语言
- 由浅到深详细讲解JSP自定义标签详解编程语言
- CSS 控制Html页面高度导致抖动问题的原因详解编程语言
- JavaScript中setTimeout定时执行问题讲解详解编程语言
- Python实现装饰模式的一段代码详解编程语言
- VL10B-转发货单失败详解编程语言
- Pyqt5的事例讲解详解编程语言
- void_C语言void关键字详解
- 深入浅出:Linux系统详解,轻松了解Linux操作系统(linux系统讲解)
- 简单易懂:如何使用Oracle导出日志包含关键字:Oracle、日志、导出提高工作效率:Oracle日志导出操作指南详细讲解:细节揭秘——Oracle日志的导出方法实用技巧:Oracle必备技能之日志导出教程专业指导:Oracle日志导出查询详解与应用实践(oracle日志导出)