3-《PyTorch深度学习实践》-梯度下降算法
2023-09-11 14:14:26 时间
穷取法计算量太大,搜索空间太大,不太现实
分治算法,各个击破
分治算法,不适合非凸函数,会陷入局部最优,凸函数,任取两点,画一条线段,线段的值都在曲线上面或者曲线下面,神经网络参数数量过大,划分空间去搜索也是没法划分的
梯度的下降法,站在当前节点,梯度下降的方向,就是往最小值的方向
梯度就是导数,学习率不要过大,防止跳跃太大,对比人,人生道理都是一样
贪心思想,只看眼前最好的,也是只能得到局部最优,不一定得到全局最优
非凸函数
局部最优全局最优,深度学习一般没有多少局部最优点,实践证明
局部最小和局部最大的交接处,鞍点,梯度没法更新,走不动了,没法运动收敛了
高维曲面的鞍点
梯度计算公式
数据集
前馈计算
损失函数
梯度求解
更新梯度
结果
指数加权均值,把cost弄成平滑,更容易观察整体下降趋势
往往是学习率过大,没法收敛了,训练发散了
随机梯度下降,一个样本的损失就可以去更新参数了,而不是所有样本的平均损失,引入了随机性的噪声,遇到鞍点了也可能跨域,向前前进
随机梯度下降代码
训练过程
梯度下降跨域并行计算,随机梯度没法并行,后一个样本依赖前面一个,时间复杂度过高
取个小批量的batch去训练,每次不是一个,也不是全部,而是小批量的,很有启发性,说到batch都是minibatch
相关文章
- 算法基础:删除字符串中出现次数最少的字符(Golang实现)
- 算法(第四版)学习笔记之java实现希尔排序
- 机器深度学习算法的全浏览
- 【机器学习算法-python实现】协同过滤(cf)的三种方法实现
- 基于负相关学习多神经网络集成的目标识别算法MATLAB仿真
- 字节跳动面试——算法岗
- 【PSO运输优化】基于MATLAB的PSO运输优化算法的仿真
- SAR图像相干斑滤波算法
- 在P2P市场中代替“看不见的手”的算法在哪里
- 百度2014校园招聘笔试题 ——深度学习算法研发工程师.
- 机器学习—K近邻算法(knn)【适合于大样本的自动分类】
- 「基于Django的全民健康智慧中医数字服务平台」基于深度学习抓取文章自动多分类算法模型
- 排序算法之选择排序【C语言】
- 《数据结构与算法 C语言版》—— 3.8习题
- 【毕业设计_课程设计】基于深度学习的甲状腺超声图像良恶性诊断算法研究
- 强化学习baseline论文—— rainbow算法中给出实验结果的54个atari2600游戏名称列表
- 【转载】 固定随机种子比较强化学习算法——pytorch框架
- 四轴姿态控制系统组成以及电机动力分配的算法实现
- 博弈赛-极大极小值算法和Alpha-Beta算法学习网址
- 2023最新华为OD机试 - 喊七(JavaScript) | 机试题+算法思路+考点+代码解析 【2023】
- 华为OD机试 - 找出重复代码(JavaScript) | 机试题+算法思路+考点+代码解析 【2023】
- 华为OD机试 - 按身高和体重排队(Java) | 机试题+算法思路+考点+代码解析 【2023】
- 简单易学的机器学习算法——神经网络之BP神经网络
- 白话经典算法系列之七 堆与堆排序
- 常用算法及用例