人工神经网络(ANN)及BP算法详解程序员
说明:
LinearRegression模型:
sigmoid函数:
LR可以理解为如下结构:
所以逻辑回归是一个单层感知器(没有隐层)结构。
2 为什么需要神经网络首先,神经网络应用在分类问题中效果很好。 工业界中分类问题居多。
LR或者linear SVM更适用线性分割。如果数据非线性可分(现实生活中多是非线性的),LR通常需要靠特征工程做特征映射,增加高斯项或者组合项;SVM需要选择核。 而增加高斯项、组合项会产生很多没有用的维度,增加计算量。GBDT可以使用弱的线性分类器组合成强分类器,但维度很高时效果可能并不好。
如下图非线性可分
从逻辑回归看,单层感知器只能解决线性问题。要解决非线性问题,需要引入多层感知器(加入隐层)。
这时使用两个线性分类器,再求逻辑与就可以达到分类的效果。 注意,最开始的两个线性分类器都是部分正确的分类器
2.2 神经元完成逻辑与前面说可以使用两个线性分类器的逻辑与可以完成上例的非线性分割。暂时不管两个线性分类器,现在先使用神经元(感知器)达到逻辑与的效果
假设
这样,g(z)完成逻辑与:
调整z的参数,可以实现逻辑或等操作
可以看到,先有imput layer生产两个线性分类器,在通过两个线性分类器的权重组合构成逻辑与,完成非线性分类。
注意,训练两个线性分类器需要imput的权重,逻辑与又需要两个线性分类器的权重。
对线性分类器的逻辑与和逻辑或的组合可以完美的对平面样本进行分类
隐层决定了最终的分类效果
由上图可以看出,随着隐层层数的增多,凸域将可以形成任意的形状,因此可以解决任何复杂的分类问题。实际上,Kolmogorov理论指出:双隐层感知器就足以解决任何复杂的分类问题。
 4 神经网络结构 4.1 网络结构
n个输入;输出m个概率
前面每一层输入经过线性变换wx+b后还用到了sigmoid函数,在神经网络的结构中被称为传递函数或者激活函数。 除了sigmoid,还有tanh、relu等别的激活函数。激活函数使线性的结果非线性化。4.2.1 为什么需要传递函数
简单理解上,如果不加激活函数,无论多少层隐层,最终的结果还是原始输入的线性变化,这样一层隐层就可以达到结果,就没有多层感知器的意义了。 所以每个隐层都会配一个激活函数,提供非线性变化。4.2.2 介绍两种激活函数
双S函数又被称为tanh函数
5 BP算法 5.1 网络结构
1. 正向传播求损失,反向传播回传误差
2. 根据误差信号修正每层的权重
3. f是激活函数;f(netj)是隐层的输出; f(netk)是输出层的输出O; d是target
以三层感知器为例:
结合BP网络结构,误差由输出展开至输入的过程如下:
有了误差E,通过求偏导就可以求得最优的权重。(不要忘记学习率)
BP算法属于δ学习规则类,这类算法常被称为误差的梯度下降算法。 这类算法要求变换函数可导(sigmoid是满足的)
5.3 举例图中元素:
两个输入;
隐层: b1, w1, w2, w3, w4 (都有初始值)
输出层:b2, w5, w6, w7, w8(赋了初始值)
则误差:
求误差对w5的偏导过程
参数更新:
求误差对w1的偏导
注意,w1对两个输出的误差都有影响
通过以上过程可以更新所有权重,就可以再次迭代更新了,直到满足条件。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/7413.html
服务器部署程序员系统优化网站设置运维相关文章
- 【动态规划1】钢条切割算法Java代码
- matlab ga算法_基因算法和遗传算法
- 程序员进阶之算法练习(六十九)
- Go 数据结构和算法篇(十七):二叉排序树
- C/C++ 数据结构与算法笔记
- 特定领域知识图谱融合方案:文本匹配算法(Simnet、Simcse、Diffcse)
- 程序员必备的数据库知识 2:Join 算法
- 10大机器学习算法,Python与R代码比较
- 复原IP地址算法详解程序员
- 找不到匹配的outgoing encryption算法(No matching outgoing encryption algorithm found)详解程序员
- SSH弱小算法支持问题详解程序员
- 非阻塞算法简介详解程序员
- Nginx负载均衡算法详解程序员
- 关于百度上线 “闪电算法”的公告详解程序员
- 算法-两个链表的第一个公共结点详解编程语言
- LRU算法的Java实现详解编程语言
- 结构MySQL存储实现树形结构算法(mysql存储树形)
- MySQL索引优化:实现更高效的查询算法(mysql索引算法)
- Linux下安全加密:3DES算法(linux3des)
- 使用Redis实现数据去重算法(使用redis对数据去重)
- Oracle数据库中的MD5加密算法(oracle中md5算法)
- C++火车入轨算法的实现代码