训练多个epoch来提高训练模型的准确率
1 问题
对模型进行训练后,测试集测试的结果与真实值之间的占比称为准确率,准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络,每次训练得到的准确率结果却不一样并且准确率都较低,最高仅67%,那如何才能提高训练后的准确率呢?
2 方法
模型的参数是随机的,所以导致每次训练出的准确率不一样。虽然每次训练得到的准确率不同,但是都在65%左右,准确率较低。参数优化、数据处理等方法可以提高其准确率,本文采用的方法是训练网络时训练多个epoch(周期)。
def train(dataloader, net, loss_fn, optimizer):
net.train()
for batch_idx, (X,y) in enumerate(dataloader):
pred = net(X)
loss = loss_fn(pred, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
#训练5个周期epoch
for epoch in range(5):
train(train_loader, net, loss_fn, optimizer)
结果如下:
可以看到在训练了5个epoch后准确率提高到了79%。
将epoch增加到75时,准确率则提高到了90%。
为什么增加epoch的数量可以提高训练数据集的准确率呢?
epoch中文译为“时期”。1个epoch等于使用训练集中的全部样本训练一次。在神经网络中传递完整的数据集一次是不够的,而且需要将完整的数据集在同样的神经网络中传递多次。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。
随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。
因此在一定范围内增加epoch的数量可以提高训练数据集的准确率,不过对于不同的数据集,合适的epoch数量是不一样的,但是数据的多样性会影响合适的epoch的数量。
3 结语
针对提高Minst数据集训练模型的准确率的问题,本文采用了训练多个epoch来提高其准确率,并通过实验验证该方法确能提高准确率,但运行时间会随epoch的数量而增长,且准确率只能达到91%左右,所以只通过增加训练epoch的数量来提高准确率是完全不够的,还需结合参数优化等方法来提高训练模型的准确率。
相关文章
- 南理工&上海AI Lab提出Uniform Masking,为基于金字塔结构的视觉Transformer进行MAE预训练!
- keras2.2.4使用resnet101网络和预训练模型
- Pytorch深度学习实战教程:UNet模型训练
- WAIC 2022 | 澜舟科技创始人&CEO 周明:基于预训练语言模型的可控文本生成研究与应用
- ACL2021:预训练模型
- 多模型融合权重如何训练_单因子模型
- Mask Rcnn目标分割-训练自己数据集-详细步骤[通俗易懂]
- 微软ACL 2022:永远不要低估你的训练数据!
- 总结!语义信息检索中的预训练模型
- 隐私计算FATE-模型训练
- 从BERT到ChatGPT,北航等9大顶尖研究机构全面综述:那些年一起追过的「预训练基础模型」
- 将训练好的Tensorflow模型部署到Web站点
- ECCV 2022 | 谷歌提出Data-free NAS,网络搜索仅需一个预训练模型
- 多模态预训练常见问题:为什么不同模态表征存在gap?
- 快递单信息抽取【二】基于ERNIE1.0至ErnieGram + CRF预训练模型
- 基于 hugging face 预训练模型的实体识别智能标注方案:生成doccano要求json格式
- 超简单的pyTorch训练->onnx模型->C++ OpenCV DNN推理(附源码地址)
- Patterns | 自监督图预训练模型整合大规模分子网络以探寻疾病相关基因的内在互作机制
- 提高CV模型训练性能的 9 个技巧
- 第十四届蓝桥杯集训——练习解题阶段(无序阶段)-ALGO-2 算法训练 最大最小公倍数
- R语言梯度提升机 GBM、支持向量机SVM、正则判别分析RDA模型训练、参数调优化和性能比较可视化分析声纳数据|附代码数据
- 第十四届蓝桥杯集训——练习解题阶段(无序阶段)-ALGO-444 算法训练 求和问题
- AI自给自足!用合成数据做训练,效果比真实数据还好丨ICLR 2023
- 汇总简析:GAN和扩散模型生成训练数据
- 让大模型的训练和推理,比更快还更快!谷歌2022年终总结第四弹
- 开源方案复现ChatGPT流程!1.62GB显存即可体验,单机训练提速7.73倍
- Galvatron项目原作解读:大模型分布式训练神器,一键实现高效自动并行
- NLP任务非Transformer不可?谷歌大规模研究发现预训练卷积模型往往更优
- 哈佛、宾大等多所机构研究者联合综述:大规模预训练语言模型进展
- 「人工智能训练师」国家职业技能标准发布:共有五大级别,你是第几级?
- 7 Papers & Radios | 模型鲁棒性一键式评测平台;CPU训练神经网络比GPU快十几倍
- 鹅厂发布的这个算力集群,最快4天训练万亿参数大模型
- 微软开源“傻瓜式”类ChatGPT模型训练工具,成本大大降低,速度提升15倍