前言

• 文章来源：LawsonAbs（CSDN）
• 望各位读者审慎阅读

1.模型单元结构

主要记住如下特征：

• lstm 有三重门，分别是：输入门，输出门，遗忘门。
  输入门：输入的数据有多大程度进入模型；
  输出门：控制当前时刻的内部状态$c_t$有多少信息需要输出给外部状态；
  遗忘门：控制上一个时刻的内部状态$c_{t-1}$需要遗忘多少信息

• lstm 的三重门都是由输入向量${\mathbf{x}}_{\mathbf{t}}$变换得到的，变换公式如下：
  $$\begin{gathered} {\mathbf{i}}_{\mathbf{t}}=\sigma ({\mathbf{W}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{t}}+{\mathbf{U}}_{\mathbf{i}}{\mathbf{h}}_{\mathbf{t}-1}+{\mathbf{b}}_{\mathbf{i}}) \\ {\mathbf{o}}_{\mathbf{t}}=\sigma ({\mathbf{W}}_{\mathbf{o}}{\mathbf{x}}_{\mathbf{t}}+{\mathbf{U}}_{\mathbf{o}}{\mathbf{h}}_{\mathbf{t}-1}+{\mathbf{b}}_{\mathbf{o}}) \\ {\mathbf{f}}_{\mathbf{t}}=\sigma ({\mathbf{W}}_{\mathbf{f}}{\mathbf{x}}_{\mathbf{t}}+{\mathbf{U}}_{\mathbf{f}}{\mathbf{h}}_{\mathbf{t}-1}+{\mathbf{b}}_{\mathbf{f}}) \end{gathered}$$

• 更新公式
  $$\begin{gathered} c_t=f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t \\ {h}_t=o_t\odot tanh{c}_t \end{gathered}$$

• 其它标记
  这里再解释一下其它的标记： 和内部状态$c_t$相反，$h_t$ 表示的是外部状态

2.学习笔记

3.常问题

• 为什么叫Long Short Term Memory Network?