Jordan RNN于1986年提出：《SERIAL ORDER: A PARALLEL DISTRmUTED PROCESSING APPROACH》
Elman RNN于1990年提出：《Finding Structure in Time》
《LSTM原始论文：Long Short-Term Memory》
《GRU原始论文：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》

四、LSTM(Long Short-term Memory)长短期记忆结构

LSTM是RNN的升级版，加入了forget、input、output三个步骤，包含3个门，5对参数，两次更新。赋予了RNN选择性记忆的能力，一定程度解决了RNN中Long Term Dependency（长期依赖）的问题。

LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

由于内部结构相对较复杂, 因此训练效率在同等算力下较传统RNN低很多.