Tensorflow2.0 入门与实战学习笔记(一、二)-优化函数、学习率、反向传播
2023-09-11 14:20:00 时间
目录
理论知识
1.1多层感知器
1.2梯度下降法
1.3 学习速率-超参数(手工可配置)
不合适的学习速率
局部极值点
1.4 反向传播算法
1.5 优化函数
- SGD 随机梯度
- adam优化器
常见参数
RMSprop
代码实现
1.6 网络优化与超参数的选择
1.6.1 如何选择超参数
那么如何提高网络的拟合能力
注意:
单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
13W个可训练参数
结果提高了
从正确率来看
- 欠拟合:测试和训练数据分都低
- 过拟合:在测试数据上得分比较低,在训练数据分比较
采用dropout防止过拟合
随机森林和集成方法
AlexNet论文中提到
为什么说Dropout可以解决过拟合?
参数选择
因此我们参数训练原则
然后,抑制过拟合---容量上没问题
抑制过拟合 最好的办法是增加训练数据
调整参数-经验
构建网络总原则
总原则:保证神经网络容量足够拟合数据
一、增大网络容量,直到过拟合
二、采取措施抑制过拟合
三、继续增大网路容量,直到过拟合
1.7 实战
如何在网络中添加droupout层
减少网络规模也是一种方法
相关文章
- BGFX学习笔记01
- 多线程编程学习笔记——异步调用WCF服务
- [转] Nodejs学习笔记(十四)— Mongoose介绍和入门
- Nginx学习笔记(一) Nginx架构
- keil mdk编译器学习笔记(6)——Keil MDK下如何设置非零初始化变量
- MySQL Group Replication 学习笔记—group replication 小结
- NLP文本分类入门学习及TextCnn实践笔记——基础知识学习及理解(一)
- 《模式识别》学习笔记(九)判别域界面方程分类和线性判别函数
- [转]ListView学习笔记(一)——缓存机制
- ExtJs Ext.data.Model 学习笔记
- Thinkphp学习笔记6-redirect 页面重定向
- PHP学习笔记_03_基础入门
- Android 学习笔记进阶十二之裁截图片
- 从入门到实战,阿里架构师分享Flutter大白话学习笔记
- vue学习笔记五:Jquery VS Vue之事件监听明细对照
- java学习笔记(5) 控制语句、键盘输入
- Lua学习笔记之“.”和“:”的作用和用法
- Lua学习笔记——异常处理pcall、xpcall
- 深度学习入门笔记之PyTorch
- JSP-SpringMVC学习笔记(一)入门
- 汇编入门学习笔记 (七)—— dp,div,dup
- 《慕客网:IOS基础入门之Foundation框架初体验》学习笔记 <五> NSDicionary + NSMutableDictionary
- 《慕客网:IOS基础入门之Foundation框架初体验》学习笔记 <四> NSMutableArray
- hive 学习笔记(一)--- 入门
- Python入门学习笔记第十二章——游戏制作之武装飞船~~~
- Python入门学习笔记第九章——类~~~