zl程序教程

您现在的位置是:首页 >  其它

当前栏目

7-损失表面的几何意义

意义 几何 损失 表面
2023-09-11 14:14:28 时间

N个参数,对应的就是NXN的矩阵
在这里插入图片描述
参数越多,局部最小值的概率越小,要不就是鞍点,要不就是局部最小值
在这里插入图片描述
鞍点在loss大的地方,局部最小值和全局最小值都是在loss很低的地方
在这里插入图片描述
所以局部最小值和全局最小值都差不多
在这里插入图片描述
网络越大,loss越集中在一个区域
在这里插入图片描述
网络越大,越可能找到全局最优