[深度学习] 神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
2023-04-18 12:40:22 时间
开篇语
文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。
发展历史
单层感知器
基本模型如下
训练
如果激励函数是线性的话,可用最小二乘直接计算:
如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):
上式只做了简单的求导展开,很容易推导:
多层感知器
基本模型如下
举例(含有一个隐含层的多层感知器MLP)
模式:
y=h(v)=h(h(u))y=h(v)=h(h(u))
求解:
然后分别对两个层的权值求导:
然后更新即可,反向传播(BP)
经验
优缺点
RBF神经网络
模型
求解
优点和视角
深度学习简介
前向神经网络
发展历程
整体一览
一些值得关注
学术
工业
Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥
Belief Network
Hopfield Network
Boltzman机
RBM 受限的玻尔兹曼机
RBM
模型
利用上图中公式,可以得到
求解 CD算法
DBN
模型
训练
面向特征提取
面向分类
DBM
模型
CNN
模型
训练
参考文献
相关文章
- EasyCVR对接华为iVS订阅摄像机和用户变更请求接口介绍
- 精选 | 腾讯云CDN内容加速场景有哪些?
- 模块化网络防止基于模型的多任务强化学习中的灾难性干扰
- 用搜索和注意力学习稳健的调度方法
- 用于多变量时间序列异常检测的学习图神经网络
- 助力政企自动化自然生长,华为WeAutomate RPA是怎么做到的?
- 使用腾讯轻量云搭建Fiora聊天室
- TSRC安全测试规范
- 云计算“功守道”
- 助力成本优化,腾讯全场景在离线混部系统Caelus正式开源
- Flink 利器:开源平台 StreamX 简介
- 腾讯云实践 | 一图揭秘腾讯碳中和?解决方案
- 深度学习中的轻量级网络架构总结与代码实现
- 信息系统项目管理师(高项复习笔记三)
- Adobe国际认证让科技赋能时尚
- c++该怎么学习(面试吃土记)
- 面试官问发布订阅模式是在问什么?
- 面试官:请实现一个通用函数把 callback 转成 promise
- 空中悬停、翻滚转身、成功着陆,我用强化学习「回收」了SpaceX的火箭
- 中山大学林倞解读视觉语义理解新趋势:从表达学习到知识及因果融合