pytorch(8)– resnet101 迁移学习记录
2023-06-13 09:14:47 时间
一、前言
本篇记录使用 pytorch 官方 resnet101 实现迁移学习,迁移学习是当前深度学习领域的一系列通用的解决方案,而不是一个具体的算法模型。Pre-training + fine-tuning(预训练+调参) 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式,有以下3步
(1)把预训练模型当做特征提取器: TensorFlow或者Pytorch都有ImageNet上预训练好的模型,将最后一层全连接层(原始的是1000个类别或者更多)改成你自己的分类任务的种类进行输出,或者把最后一层直接去掉换成自己的分类器, 剩下的全部网络结构当做一个特征提取器。 (2)fine-tuning: 通常来说,直接把预训练模型来用效果不一定足够好,因此需要进行fine-tuning(微调)。fine-tuning需要冻结网络的前几层参数,只更新网络结构的后面几层和最后的全连接层,这样效果会更好。 (3) Learning rate: 在迁移学习的微调过程中一般不建议使用过大的学习率,通常来说1e-5是比较合适的选择
二、代码
resnet101 官网定义
import torch
from torchvision.models.resnet import ResNet, Bottleneck
def resnet101(pretrained=False, **kwargs):
"""Constructs a ResNet-101 model.
Args:
pretrained (bool): If True, returns a model pre-trained on ImageNet
"""
model = ResNet(Bottleneck, [3, 4, 23, 3], **kwargs)
if pretrained:
checkpoint = torch.load('resnet101-5d3b4d8f.pth', map_location='cpu') # 加载模型文件,pt, pth 文件都可以
model.load_state_dict( checkpoint )
return model
然后使用resnet101,加载官方预训练模型,再修改最后全连接层,训练过程只对最后全连接层做训练
#初始化net,训练和验证都需要net
net = resnet101(pretrained=True)
net.fc = torch.nn.Sequential(torch.nn.Linear(2048, 1024),
torch.nn.ReLU(),
torch.nn.Dropout(p=0.5),
torch.nn.Linear(1024, 1024),
torch.nn.ReLU(),
torch.nn.Dropout(p=0.5),
torch.nn.Linear(1024, 257 ))
net = net.to(device)
#初始化optimizer,只有train时使用
optimizer = optim.SGD( net.fc.parameters(), lr=1e-5, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 20 , gamma=0.5)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/185265.html原文链接:https://javaforall.cn
相关文章
- AI实战 | Tensorflow自定义数据集和迁移学习(附代码下载)
- Flask 学习-15.flask-migrate数据迁移
- mysql 百万数据测试迁移对比
- MATLAB对Googlenet模型进行迁移学习
- 动态迁移_动作迁移
- NeurIPS2022 | UNC 提出高效迁移学习法「LST」,GPU内存可节约69%(含源码)
- 谷歌MIRec:头部尾部双赢的迁移学习框架
- 【Rust日报】2022-12-30 如何将一个PHP项目迁移到Rust
- PyTorch-24h 06_迁移学习
- 入门迁移学习,跟着知乎大V王晋东的这个火热开源项目来学习(赠书)
- MySQL数据库迁移脚本:一步步构建你的梦想(mysql数据库迁移脚本)
- 微软将在后续淘汰UWP版OneNote应用 用户需迁移至桌面版OneNote
- 香港科技大学杨强 KDD China 技术峰会演讲:迁移学习的本质与实际应用
- Linux文件目录如何迁移?25字概括教程(linux迁移目录)
- 从旧版到新版:探索Oracle升级迁移的关键步骤(oracle升级迁移)
- 实现快速数据迁移:Redis 拷贝数据技巧大揭秘(redis拷贝数据)
- MySQL导入导出工具:快速高效实现数据迁移和备份(导入导出工具mysql)
- CRT导入MySQL快速轻松实现数据迁移(CRT进MySQL)
- Oracle行迁移管理数据变动的利器(Oracle什么是行迁移)
- 无建表MySQL数据导入技巧,快速实现数据迁移(mysql不建表导入数据)
- Redis集群迁移超时预防与处理方案(redis集群迁移槽超时)