LSTM原理——输入门、遗忘门、输出门
LSTM
长短时记忆网络(Long Short Term Memory Network, LSTM),是一种改进之后的循环神经网络,可以解决RNN无法处理长距离的依赖的问题,目前比较流行。
长短时记忆网络的思路:
原始 RNN 的隐藏层只有一个状态,即h,它对于短期的输入非常敏感。
再增加一个状态,即c,让它来保存长期的状态,称为单元状态(cell state)。
把上图按照时间维度展开:
在 t 时刻,LSTM 的输入有三个:当前时刻网络的输入值 、上一时刻 LSTM 的输出值
、以及上一时刻的单元状态
;
LSTM 的输出有两个:当前时刻 LSTM 输出值 、和当前时刻的单元状态
.
关键问题是:怎样控制长期状态 c ?
方法是:使用三个控制开关
第一个开关,负责控制继续保存长期状态c;
第二个开关,负责控制把即时状态输入到长期状态c;
第三个开关,负责控制是否把长期状态c作为当前的LSTM的输出。
如何在算法中实现这三个开关?
方法:用 门(gate)
定义:gate 实际上就是一层全连接层,输入是一个向量,输出是一个 0到1 之间的实数向量。
公式为:
回忆一下它的样子:
gate 如何进行控制?
方法:用门的输出向量按元素乘以我们需要控制的那个向量
原理:门的输出是 0到1 之间的实数向量,
当门输出为 0 时,任何向量与之相乘都会得到 0 向量,这就相当于什么都不能通过;
输出为 1 时,任何向量与之相乘都不会有任何改变,这就相当于什么都可以通过。
LSTM 前向计算
在 LSTM-1 中提到了,模型是通过使用三个控制开关来控制长期状态 c 的:
这些开关就是用门(gate)来实现:
接下来具体看这三重门
LSTM 的前向计算:
一共有 6 个公式
遗忘门(forget gate)
它决定了上一时刻的单元状态 c_t-1
有多少保留到当前时刻 c_t
输入门(input gate)
它决定了当前时刻网络的输入 x_t
有多少保存到单元状态 c_t
输出门(output gate)
控制单元状态 c_t
有多少输出到 LSTM 的当前输出值 h_t
遗忘门的计算为:
forget
遗忘门的计算公式中:W_f
是遗忘门的权重矩阵,[h_t-1, x_t]
表示把两个向量连接成一个更长的向量,b_f
是遗忘门的偏置项,σ
是 sigmoid 函数。
输入门的计算:
input
根据上一次的输出和本次输入来计算当前输入的单元状态:
当前输入的单元状态c_t
当前时刻的单元状态 c_t
的计算:由上一次的单元状态 c_t-1
按元素乘以遗忘门 f_t
,再用当前输入的单元状态 c_t
按元素乘以输入门 i_t
,再将两个积加和:
这样,就可以把当前的记忆 c_t
和长期的记忆 c_t-1
组合在一起,形成了新的单元状态 c_t
。
由于遗忘门的控制,它可以保存很久很久之前的信息,由于输入门的控制,它又可以避免当前无关紧要的内容进入记忆。
当前时刻的单元状态c_t
输出门的计算:
output
LSTM 的反向传播训练算法
主要有三步:
1. 前向计算每个神经元的输出值,一共有 5 个变量,计算方法就是前一部分:
2. 反向计算每个神经元的误差项值。与 RNN 一样,LSTM 误差项的反向传播也是包括两个方向:
一个是沿时间的反向传播,即从当前 t 时刻开始,计算每个时刻的误差项;
一个是将误差项向上一层传播。
3. 根据相应的误差项,计算每个权重的梯度。
gate 的激活函数定义为 sigmoid 函数,输出的激活函数为 tanh 函数,导数分别为:
具体推导公式为:
具体推导公式为:
目标是要学习 8 组参数,如下图所示:
又权重矩阵 W 都是由两个矩阵拼接而成,这两部分在反向传播中使用不同的公式,因此在后续的推导中,权重矩阵也要被写为分开的两个矩阵。
接着就来求两个方向的误差,和一个梯度计算。
这个公式推导过程在本文的学习资料中有比较详细的介绍,大家可以去看原文:
https://zybuluo.com/hanbingtao/note/581764
1. 误差项沿时间的反向传递:
定义 t 时刻的误差项:
目的是要计算出 t-1 时刻的误差项:
利用 h_t c_t 的定义,和全导数公式,可以得到 将误差项向前传递到任意k时刻的公式:
2. 将误差项传递到上一层的公式:
3. 权重梯度的计算:
以上就是 LSTM 的训练算法的全部公式。
链接:https://www.jianshu.com/p/dcec3f07d3b5
来源:简书
相关文章
- 如何在Kettle4.2上面实现cassandra的输入与输出
- 输入一个整数,将这个整数以字符串的形式逆序输出 程序不考虑负数的情况,若数字含有0,则逆序形式也含有0,如输入为100,则输出为001
- 深入比特币原理(三)——交易的输入(input)与输出(output)
- 牛客网 C++ 输入、输出常用格式
- 一个栈输入序列为1,2,3,4,5,则下列序列中不可能是栈的输出序列是?
- input限制输入数字,字数,最大最小值
- 安卓系统输入子系统从下到上的三种配置文件
- Python语言学习:Python语言学习之编程语言基础案例综合应用集合(输入带*号的密码/与用户交/根据分数判断优良差/提取txt文档中两人对话内容等)之详细攻略
- C 输入一串数字,去掉当中含7的和能被7整除的数
- 习题 4.15 用条件编译方法实现以下功能:输入一行电报文字,可以任选两种输出,一为原文输出;一为将字母变成其下一字母。用#define命令来控制是否要译成密码。
- 习题 5.14 输入n个字符串,把其中以字母A打头的字符串输出。
- 习题 13.1 输入三角形的三边a,b,c,计算三角形的面积的公式是。。。编写程序,输入a,b,c,检查a,b,c是否满足以上条件,如不满足,由cerr输出有关出错信息。
- 习题 6.3 输入10个整数,将其中最小的数与第一个数对换,把最大的数与最后一个数对换。写3个函数:1.输入10个数;2.进行处理;3.输出10个数。
- 习题 6.14 编一个程序,将两个字符串s1和s2比较,若s1大于s2,输出一个正数;若s1等于s2, 输出0;若s1小于s2,输出一个负数。不要用strcmp函数。两个字符串用gets函数输入。
- 习题 9.4 在第3题的基础上,编写一个函数input,用来输入5个学生的数据记录。
- 习题 8.11 在主函数中输入10个等长的字符串。用另一函数对它们排序。然后在主函数输出这10个已排好序的字符串。
- 【数字信号处理】线性时不变系统 LTI “ 输入 “ 与 “ 输出 “ 之间的关系 ( LTI 系统单位脉冲响应 | 卷积 | 卷积推导过程 )
- 小程序实现textarea随输入的文字行数变化高度自动增加
- 输入10个数,求出最大元素是第几个数(数组作为函数參数)
- Win11系统中如何输入一些特殊字符操作方法分享
- 1.编写一个简单的C语言程序:根据输入的两个整数求平均值并且在终端输出,通过gcc编译器得到它的汇编程序文件。 2.编写一个C语言程序:打印输出所有“水仙花数”,用gdb调试程序(给出步骤)。所谓“