本质是函数的拟合

分类模型本质上是在做拟合——模型其实就是一个函数（或者一簇函数），里边有一些待定的参数，根据已有的数据，确定损失函数（最常见的损失函数，就是误差平方和，不清楚的读者，可以回忆最小二乘法的过程。），然后优化损失函数到尽可能小，从而求出待定参数值。求出参数值之后，就可以用这个函数去进行一些预测。

函数存在的两个问题

1、函数的自变量是什么？2、这个函数是什么？

第一个

神经网络解决的是第二个问题：这个函数是什么。
多项式拟合的问题是在训练数据内拟合效果很好，可是测试效果不好，也就是容易出现过拟合的现象，通过多重复合函数来拟合，线性函数和非线性函数的符合

第二个

深度学习一般是很多重的（具有五、六个隐藏层是很常见的），并且引入了更有效的求解算法，能够较好地解决梯度发散、收敛到局部极小等问题。但我觉得，这并非本质性的区别，笔者认为深度学习与传统神经网络的区别在于，深度学习致力于解决的是我们前面提到的第一个问题：函数的自变量是什么？
深度学习，提取深层次准确的特征

一、准确性，找到良好的特征，意味着较好地排除了干扰因素，从而使得模型的输入都是有益的，减少了冗余；

二、计算量，比如说对图片进行分类，图像是1000x1000像素的，如果直接将所有像素输入，那么就是106个特征，这些特征全部输入到深度学习模型中，模型的参数高达1012个甚至更多，求解这么多参数的模型几乎是不可能的，而找到良好的特征，就意味着只把有用的信息输入到模型中，从而减少了参数量，使得求解成为可能；

三、储存量，良好的特征算法往往还可以用来实现文件的有效压缩，降低储存量和训练时所需要的内存。

信息损失！

思维过程，称之为——抽象！学会类别人的思维

去掉干扰的噪音，值保留最有效的信息

思维过程，称之为——抽象！

如果您需要引用本文，请参考：

苏剑林. (Jun. 06, 2015). 《闲聊：神经网络与深度学习 》[Blog post]. Retrieved from https://kexue.fm/archives/3331