机器学习——人工神经网络之多层神经网络(多层与三层)
目录
小结2:多个决策面时最后一层w,b常用参数和第二层w,b常用参数的设置
一、多层神经网络
1、多层神经网络数学模型
并行化的系统
2、数学模型中的非线性函数fai
1)非线性函数fai存在的意义
如下图可知如果没有非线性函数最后得出的y依据是线性的,这就又回到了最初的单层神经网络,没有新的突破,而fai函数则图突破了这个局限性
2)非线性函数fai具体是什么?
fai函数就是阶跃函数
3、多层神经网络与单层神经网络的区别与改进
1)单层神经网络数学模型
具体见:《机器学习——人工神经网络之发展历史(神经元数学模型、感知器算法)》
2)多层神经网络模型
3)区别
多层神经网络顾名思义具有多层的神经网络,经过多层的变化后将输入的xi变化后进行y的输出
该多层神经网络数学模型和阶跃函数(fai函数)的结合可以解决所有的非线性问题,这也是多层神经网络最大的优势所在
二、三层神经网络
1、定理
三层神经网络可以模拟所有的决策面
2、一些概念(决策面、神经元、神经网络层数)
1)决策面
决策面就是每一类样本所分布的一块区域,由多条线所围成的一个区域(若由曲线围成,可以将曲线看成由无数条非常短的线组成的曲线)
三条线围成一个决策面(C1类的区域)
四条线围成一个决策面(C1类的区域)
曲线围成一个决策面(C1类的区域)——将曲线看成由无数直线构成
直线围成多个分开的决策面(C1类的区域)
2)神经元
神经元在数学模型中的位置如下图所示,神经元的个数其实就是围成决策面的直线条数,围成决策面的条数有多少,那么神经元就有多少个,若是曲线,则有无数个神经元
3)神经网络层数n
神经网络层数一般由决策面的个数决定,若决策面只有一个,神经网络数学模型采用两层神经网络就可以实现,但是如果决策面有多个(如上面的C1类的区域分开成了两个决策面)则神经网络数学模型采用三层神经网络就可以实现
决策面个数m,则神经网络层数n:
所以三层神经网络可以模拟所有的决策面
3、常见的三层神经网络模型(含w,b的参数设置)
1)一个三角形决策面的神经网络模型(两层神经网络)
2)一个四边形决策面的神经网络模型(两层神经网络)
3)一个曲线围成决策面的神经网络模型(两层神经网络)
将曲线用无数个非常短的线去替代曲线,只是神经元为无限个
小结1:一个决策面时最后一层常用w,b参数的设置
答:设决策面为1个,围成决策面的直线条数为n,则取:所有w = 1 ; b = - n + 0.5
只有一个决策面的数学模型最后一层神经网络是与逻辑关系,即所有输入为1,归类为C1,反之归类为C2
4)两个决策面的神经网络模型(三层神经网络)
一个决策面的神经元在第二层的输出为一个,有多少个决策面第二层就会有多少个输出(与关系)
5)两个以上决策面的神经网络模型(三层神经网络)
两个以上的决策面的神经网络模型和两个决策面是类似的,只是第一层的神经元数目多了,第二层的与关系多了而已
小结2:多个决策面时最后一层w,b常用参数和第二层w,b常用参数的设置
答:多个决策面时,最后一层的w,b参数固定为:w = 1 , b = -0.5
第二层每个与关系处即每一个决策面的第二层的w,b参数设置参考上面的小结1
疑问:
那么该怎么取利用这个神经网络模型去解决实际的问题呢?至今为止神经网络的理论还不够完善,大部分还是通过实验的方式来获得神经网络模型中的参数(主要是第一层中的w,b参数),也因为这样,神经网络成为了一个实验性的学科,但是也有常用的神经网络模型训练方法(训练就是通过训练样本求解参数的一个过程,,进而获得完整的模型,利用模型可以对测试样本进行分类),可以参见文章:《机器学习——人工神经网络之后向传播算法(BP算法)》
相关文章
- 神经网络与机器学习 笔记—时序模式、非线性滤波
- 神经网络与机器学习 笔记—复制器(恒等)映射
- 4-机器学习进阶-神经网络压缩
- 机器学习-二分KMeans
- (《机器学习》完整版系列)第5章 神经网络——5.3 SOW网络(“灯阵”面板)、Elman网络(将训练集转化时序数据)、Boltzmann机(达到Boltzmann分布)
- (《机器学习》完整版系列)第5章 神经网络——5.2 RBF网络(单层RBF就可解决异或问题)与ART网络(实现“自适应谐振”)
- (《机器学习》完整版系列)第5章 神经网络——5.4 BP算法的高级表达(简洁之美)
- (《机器学习》完整版系列)第10章 降维与度量学习——10.8 流形学习(等度量映射Isomap算法、局部线性嵌入LLE算法)
- 机器学习实战之PCA
- 机器学习数学笔记|期望方差协方差矩阵
- 机器学习笔记之生成模型综述(三)生成模型的表示、推断、学习任务
- 机器学习笔记之线性分类——朴素贝叶斯分类器(Naive Bayes Classifier)
- 机器学习笔记——极大似然估计与最大后验概率估计
- 机器学习是万能的吗?AI落地有哪些先决条件?
- 《机器学习与数据科学(基于R的统计学习方法)》——1.10 在生产中使用R
- 《Python机器学习——预测分析核心算法》——导读
- 『迷你教程』Scikit-Learn在Python中进行多CPU内核机器学习方法
- 《Scala机器学习》一一1.2 去除分类字段的重复值
- 【转载】 当模型预测控制遇见机器学习
- 【吴恩达机器学习】Week6 编程作业ex5——正则化线性回归与偏差和方差的对比
- 【机器学习——BP神经网络】——Python实现、模型保存与调用
- 机器学习——深度学习之卷积神经网络(CNN)——AlexNet卷积神经网络结构
- 【机器学习】神经网络BP理论与python实例系列
- 机器学习——支持向量机SVM之python实现简单实例一(含数据预处理、交叉验证、参数优化等)