01 机器(深度)学习介绍-学习笔记-李宏毅深度学习2021年度
下篇:02 机器学习任务攻略-学习笔记-李宏毅深度学习2021年度
前言
为了巩固深度学习知识,学习和复习了2021年度的李宏毅老师的深度学习课程
在之后的笔记中,我会将字体分为红色,黄色,和绿色,分别表示重点,次重点和了解
本节内容及相关链接
机器学习与深度学习介绍
课程笔记
机器学习 ≈ 找出一个函数 使其可以解决能够解决我们的问题
机器学习经历三个步骤:
- 定义包含未知参数的函数
- 定义损失函数
- 定义优化方法
模型太简单,导致具有局限线性,称为Model Bias
为什么需要非线性激活函数?简单理解为:因为所有的分段函数都可以由常量加一组非线性函数组成,详情请参考链接
Sigmoid函数及其变化:
y
=
c
1
1
+
e
(
−
b
+
w
x
1
)
y = c \frac{1}{1+e^{(-b+wx_1)}}
y=c1+e(−b+wx1)1
变化如下图,可以通过链接感受一下
神经网络对应公式为:
y
=
b
+
c
T
σ
(
b
+
W
x
)
y = b + c^T\sigma(b+Wx)
y=b+cTσ(b+Wx)
其中:
b
+
W
x
b+Wx
b+Wx 如下图:
使用图表示为:
损失函数(Loss)描述了当前的模型有多好,或多不好。损失函数值越大,模型越差
损失函数符号为: L ( θ ) L(\theta) L(θ),其中 θ \theta θ 为模型要学习的参数
优化目标:使损失函数最小,即 θ ∗ = arg min θ L \boldsymbol{\theta}^{*}=\arg \min _{\boldsymbol{\theta}} L θ∗=argθminL
优化步骤:
1. 随机初始化参数
θ
0
\theta^0
θ0
2. 求gradient,
g
=
∇
L
(
θ
0
)
\boldsymbol{g}=\nabla L\left(\boldsymbol{\theta}^{0}\right)
g=∇L(θ0),详细公式为:
g
=
[
∂
L
∂
θ
1
∣
θ
=
θ
0
∂
L
∂
θ
2
∣
θ
=
θ
0
⋮
]
\boldsymbol{g}=\left[\begin{array}{c} \left.\frac{\partial L}{\partial \theta_{1}}\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}^{0}} \\ \left.\frac{\partial L}{\partial \theta_{2}}\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}^{0}} \\ \vdots \end{array}\right]
g=⎣⎢⎢⎢⎡∂θ1∂L∣∣∣θ=θ0∂θ2∂L∣∣∣θ=θ0⋮⎦⎥⎥⎥⎤
3. 更新参数
θ
\theta
θ,
θ
1
←
θ
0
−
η
g
\boldsymbol{\theta}^{1} \leftarrow \boldsymbol{\theta}^{0}-\eta \boldsymbol{g}
θ1←θ0−ηg
4. 重复2,3步骤,直到“你满意为止”
θ i \theta^i θi 的上角标 i i i 表示当前的更新次数
通常会将数据集分成多组,每一组称为一个batch,计算损失函数也是以batch为单位。
Batch中的数据量称为Batch Size
当所有的数据都被看过一遍,称为一个epoch
两个ReLU可以大致拼成一个Sigmoid,所以如果激活函数是ReLU的话,相比Sigmoid,可能需要2倍的神经元
参考资料
2021年度的李宏毅老师的深度学习课程:https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php
相关文章
- 神经网络与机器学习 笔记—Rosenblatt感知机
- [吴恩达机器学习笔记]16推荐系统5-6协同过滤算法/低秩矩阵分解/均值归一化
- [吴恩达机器学习笔记]16推荐系统1-2基于内容的推荐系统
- 机器学习笔记之生成对抗网络(二)全局最优解的求解逻辑
- 机器学习笔记之深度玻尔兹曼机(二)深度玻尔兹曼机的预训练过程
- 机器学习笔记之玻尔兹曼机(三)梯度求解(基于平均场理论的变分推断)
- 机器学习笔记之配分函数(三)对比散度
- 机器学习笔记之条件随机场(六)学习任务介绍(Learning)
- 机器学习笔记之概率图模型(八)信念传播(Belief Propagation,BP)(基于树结构)
- 机器学习笔记之马尔可夫链蒙特卡洛方法(一)蒙特卡洛方法介绍
- 机器学习笔记之隐马尔可夫模型(一)概率模型背景的阶段性介绍
- 机器学习笔记之线性回归——正则化介绍与岭回归
- 机器学习笔记之指数族分布——充分统计量与模型参数的关系
- 机器学习笔记之高斯分布(二)——基于参数预测的有偏估计与无偏估计
- 机器学习笔记——极大似然估计与最大后验概率估计
- 吴恩达机器学习笔记 —— 17 推荐系统
- 吴恩达机器学习笔记 —— 13 支持向量机
- 吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法
- 吴恩达机器学习笔记 —— 16 异常点检测
- Andrew Ng-机器学习基础笔记(上)-Python实现代码
- 机器学习笔记——贝叶斯学习
- 机器学习实战(Machine Learning in Action)笔记--Chapter1:机器学习基础