循环神经网络
循环神经网络
1. 循环神经网络的介绍
为什么有了神经网络还需要有循环神经网络?
在普通的神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中,网络的输出不仅和当前时刻的输入相关,也和其过去一段时间的输出相关。此外,普通网络难以处理时序数据,比如视频、语音、文本等,时序数据的长度一般是不固定的,而前馈神经网络要求输入和输出的维数都是固定的,不能任意改变。因此,当处理这一类和时序相关的问题时,就需要一种能力更强的模型。 【前馈即人工】
循环神经网络(Recurrent Neural Network,RNN)是一类具有短期记忆能力的神经网络。在循环神经网络中,神经元不但可以接受其它神经元的信息,也可以接受自身的信息,形成具有环路的网络结构。换句话说:神经元的输出可以在下一个时间步直接作用到自身(最为输入)
通过简化图,我们看到RNN比传统的神经网络多了一个循环圈,这个循环表示的就是在下一个时间步(Time Step)上会返回作为输入的一部分,我们把RNN在时间点上展开,得到的图形如下:
或者是:
在不同的时间步,RNN的输入都将与之前的时间状态有关,$t_n$时刻网络的输出结果是该时刻的输入和所有历史共同作用的结果,这就达到了对时间序列建模的目的。
RNN的不同表示和功能可以通过下图看出:
-
图1:固定长度的输入和输出 (e.g. 图像分类)
-
图2:序列输出 (e.g.图像转文字)
-
图3:数列输入 (e.g. 文本分类)
-
图4:异步的序列输入和输出(e.g.文本翻译).
-
图5:同步的序列输入和输出 (e.g. 根据视频的每一帧来对视频进行分类)
2. LSTM和GRU
2.1 LSTM的基础介绍
假如现在有这样一个需求,根据现有文本预测下一个词语,比如天上的云朵漂浮在__
,通过间隔不远的位置就可以预测出来词语是天上
,但是对于其他一些句子,可能需要被预测的词语在前100个词语之前,那么此时由于间隔非常大,随着间隔的增加可能会导致真实的预测值对结果的影响变的非常小,而无法非常好的进行预测(RNN中的长期依赖问题(long-Term Dependencies))
那么为了解决这个问题需要LSTM(Long Short-Term Memory网络)
LSTM是一种RNN特殊的类型,可以学习长期依赖信息。在很多问题上,LSTM都取得相当巨大的成功,并得到了广泛的应用。
一个LSMT的单元就是下图中的一个绿色方框中的内容:
其中$\sigma$表示sigmod函数,其他符号的含义:
2.2 LSTM的核心
LSTM的核心在于单元(细胞)中的状态,也就是上图中最上面的那根线。 【C 保存的就是记忆,其修改可以通过sigmoid和t-1点乘实现】
但是如果只有上面那一条线,那么没有办法实现信息的增加或者删除,所以在LSTM是通过一个叫做门
的结构实现,门可以选择让信息通过或者不通过。
这个门主要是通过sigmoid和点乘(pointwise multiplication
)实现的
我们都知道,$sigmoid$的取值范围是在(0,1)之间,如果接近0表示不让任何信息通过,如果接近1表示所有的信息都会通过
2.3 逐步理解LSTM
2.3.1 遗忘门
遗忘门通过sigmoid函数来决定哪些信息会被遗忘
在下图就是$h{t-1}和x_t$进行合并(concat)之后乘上权重和偏置,通过sigmoid函数,输出0-1之间的一个值,这个值会和前一次的细胞状态($C{t-1}$)进行点乘,从而决定遗忘或者保留
【公式中的[]代表的是合并】
2.3.2 输入门
下一步就是决定哪些新的信息会被保留,这个过程有两步:
-
一个被称为
输入门
的sigmoid 层决定哪些信息会被更新 -
tanh
会创造一个新的候选向量$\widetilde{C}_{t}$,后续可能会被添加到细胞状态中
例如:
我昨天吃了苹果,今天我想吃菠萝
,在这个句子中,通过遗忘门可以遗忘苹果
,同时更新新的主语为菠萝
现在就可以更新旧的细胞状态$C{t-1}$为新的$C{ t }$ 了。
更新的构成很简单就是:
-
旧的细胞状态和遗忘门的结果相乘
-
然后加上 输入门和tanh相乘的结果
2.3.3 输出门
最后,我们需要决定什么信息会被输出,也是一样这个输出经过变换之后会通过sigmoid函数的结果来决定那些细胞状态会被输出。
步骤如下:
-
前一次的输出和当前时间步的输入的组合结果通过sigmoid函数进行处理得到$O_t$
-
更新后的细胞状态$C_t$会经过tanh层的处理,把数据转化到(-1,1)的区间
-
tanh处理后的结果和$O_t$进行相乘,把结果输出同时传到下一个LSTM的单元
2.4 GRU,LSTM的变形
GRU(Gated Recurrent Unit),是一种LSTM的变形版本, 它将遗忘和输入门组合成一个“更新门”。它还合并了单元状态和隐藏状态,并进行了一些其他更改,由于他的模型比标准LSTM模型简单,所以越来越受欢迎。
LSTM内容参考地址:https://colah.github.io/posts/2015-08-Understanding-LSTMs/
3. 双向LSTM
单向的 RNN,是根据前面的信息推出后面的,但有时候只看前面的词是不够的, 可能需要预测的词语和后面的内容也相关,那么此时需要一种机制,能够让模型不仅能够从前往后的具有记忆,还需要从后往前需要记忆。此时双向LSTM就可以帮助我们解决这个问题
【红色的看成正向,绿色的看出反向】
由于是双向LSTM,所以每个方向的LSTM都会有一个输出,最终的输出会有2部分,所以往往需要concat的操作
相关文章
- Python3——分支、循环
- Java实现 LeetCode 739 每日温度(暴力循环)
- Java实现有理数的循环节
- 【学习总结】GirlsInAI ML-diary day-11-while循环
- 机器学习笔记 - 循环神经网络备忘清单
- leetcode 377. 组合总和 Ⅳ----动态规划之双重for循环变式----求排列数
- Atitit mvc之道 attilax著 以vue为例 1. Atitti vue的几大概念1 1.1. 声明式渲染1 1.2. 条件与循环2 1.3. 处理用户输入 click事件2 1
- C++:C++编程语言学习之基本数据类型/流程控制(if else/switch/for/while循环语句)的简介、案例应用之详细攻略
- 【蓝桥杯省赛】冲刺练习题【循环】倒计时【15】天
- 小白必看!JS中循环语句大集合
- 一文了解循环神经网络
- 【Pytorch深度学习实战】(8)双向循环神经网络(BiRNN)
- 【阶段四】Python深度学习09篇:深度学习项目实战:循环神经网络处理时序数据项目实战:CNN和RNN组合模型
- 【阶段四】Python深度学习08篇:深度学习项目实战:循环神经网络SimpleRNN、LSTM进行淘宝商品评论文本情感分析
- 【阶段四】Python深度学习07篇:深度学习项目实战:循环神经网络的原理和结构
- Python实现哈里斯鹰优化算法(HHO)优化循环神经网络回归模型(LSTM回归算法)项目实战
- Python实现哈里斯鹰优化算法(HHO)优化循环神经网络分类模型(LSTM分类算法)项目实战
- Python实现贝叶斯优化器(Bayes_opt)优化循环神经网络分类模型(LSTM分类算法)项目实战
- Python实现PSO粒子群优化循环神经网络LSTM回归模型项目实战
- Spring循环依赖的三种方式
- VB编程:DoEvents将控制权交给系统,防止无限循环-14
- 【人工智能】循环神经网络(Recurrent Neural Network)
- 什么是循环神经网络模型?
- for循环中的lambda与闭包——Python的闭包是 迟绑定 , 这意味着闭包中用到的变量的值,是在内部函数被调用时查询
- 循环神经网络(RNN, Recurrent Neural Networks)——无非引入了环,解决时间序列问题
- C++11 基于范围的for循环
- [神经网络学习笔记]递归神经网络,即循环神经网络(Recurrent Neural Network,RNN)综述
- 水很深的深度学习-Task05循环神经网络RNN
- Python-Tensorflow-循环神经网络
- 【深度学习与计算机视觉】11、循环神经网络
- pytorch学习笔记(十一):循环神经网络RNN(简介)
- 零基础入门深度学习(5) - 循环神经网络