【机器学习每日一问06】为什么LSTM使用sigmoid和tanh作为激活函数
2023-04-18 14:49:20 时间
门(输入门,输出门,遗忘门)使用sigmoid,求值(
)使用tanh。
为什么?
- 门是控制开闭的,全开时值为1,全闭值为0。用于遗忘和保留信息。
- 对于求值的激活函数无特殊要求。
能更换吗?
- 门是控制开闭的,全开时值为1,全闭值为0。用于遗忘和保留信息。门的激活函数只能是值域为0到1的,最常见的就是sigmoid。
- 对于求值的激活函数无特殊要求。
能不能把tanh换成relu?
不行
- 会造成输出值爆炸。RNN共享参数矩阵,长程的话相当于多个相乘,最后输出类似于
,其中是 f 激活函数,如果 W 有一个大于1的特征值,且使用relu激活函数,那最后的输出值会爆炸。但是使用tanh激活函数,能够把输出值限制在-1和1之间。
- 这里relu并不能解决梯度消失或梯度爆炸的问题。假设有t=3,最后一项输出反向传播对W求导,
。我们用最后一项做分析,即使使用了relu,
,还是会有两个 W 相乘,并不能解决梯度消失或梯度爆炸的问题。
相关文章
- EasyCVR对接华为iVS订阅摄像机和用户变更请求接口介绍
- 精选 | 腾讯云CDN内容加速场景有哪些?
- 模块化网络防止基于模型的多任务强化学习中的灾难性干扰
- 用搜索和注意力学习稳健的调度方法
- 用于多变量时间序列异常检测的学习图神经网络
- 助力政企自动化自然生长,华为WeAutomate RPA是怎么做到的?
- 使用腾讯轻量云搭建Fiora聊天室
- TSRC安全测试规范
- 云计算“功守道”
- 助力成本优化,腾讯全场景在离线混部系统Caelus正式开源
- Flink 利器:开源平台 StreamX 简介
- 腾讯云实践 | 一图揭秘腾讯碳中和?解决方案
- 深度学习中的轻量级网络架构总结与代码实现
- 信息系统项目管理师(高项复习笔记三)
- Adobe国际认证让科技赋能时尚
- c++该怎么学习(面试吃土记)
- 面试官问发布订阅模式是在问什么?
- 面试官:请实现一个通用函数把 callback 转成 promise
- 空中悬停、翻滚转身、成功着陆,我用强化学习「回收」了SpaceX的火箭
- 中山大学林倞解读视觉语义理解新趋势:从表达学习到知识及因果融合