深度学习是终极神器吗？

一、深度学习带来了什么

　 （1）强调了数据的抽象

　　对于我们心目中的智能机器，有抽象的能力是必须的。这也就是“深”与“浅”的差别。深度学习通过多层的神经网络，将事物的表面特征变为更深的、更抽象的特征。

　　这与浅层学习的代表-----支持向量机------相比，可以算是一个突破。最基本支持向量机是基于线性可分的。增加一层核函数后，其目的仍然只是使得样本在新空间线性可分。而核函数大多也只是手工设计，不能抽取深层的抽象概念。

    （2）强调了特征的自动学习

　　智能的一个基本特点是自动化。传统的机器学习算法已经让模型的设计更为自动化，通过数据可以自动确定模型的参数，只是模型的特征需要融入设计者的智慧手动设计。而深度学习的思想之一是特征也应该被自动地设计。人的智慧，可以只用来构造自动设计特征的方法。深度学习本身，就是这样的一种可以自动设计特征的方法。

　　深度学习让我们知道了特征自动设计的好处。这扩大了机器学习模型设计的可能性。现在学者们可以使用深度学习自动设计特征，当然也可以提出其他方法自动设计特征。

　　还有一点可以强调的是，这种特征的设计是可以不需要人工标注数据的，例如前面介绍的自动编码器，只需要输入样本的原始特征，不需要样本的标准输出（例如分类结果）或其他信息。这与半监督学习相仿，能够利用大量的廉价的数据帮助提高模型的效果。

    （3）对连接主义的重视

　　深度神经网络对数据的抽象并不是从数据中提取出某种离散的级别、标签等。在这种连接主义的观点下，所谓的抽象仍然是一些神经网络能够处理的实数向量。不过这也与大脑的运行机制相契合。

　　这种连接主义模型对于处理语音、图像信号感觉是理所当然的，语音、图像信号本来就是振幅、波长等物理量构成的向量、矩阵。

　　而连接主义某种看似激进的表现是将本来是符号表示的对象还原成向量形式的“信号”再进行处理。例如我们日常使用的文本，本来是被编码成相互独立的、每个都有各自意义的符号，而深度学习要将这些符号还原为向量再进行处理。实践表明：这种方法也是能够提高效果的，虽然没有在语音、图像上那么明显。

　　这种看似激进的做法仍然有合理性。因为我们的大脑在理解听到、看到的语言文字的时候，很可能也不是按照符号的方式处理的。

二、深度学习尚未做到什么

　 （1）缺乏完善的理论

　　深度神经网络需要人设计的东西仍然很多：层数、每层的神经元的个数，每次训练的步长。它们对模型影响怎样，并没有很好的理论基础作为参考。因此以下事情时有发生。

　　你看到很多论文，讲了很多设计模型的小技巧，模型的小变种。但其中的一部分不能被很好地得到理论上的解释。

　　你不断的调整需要手工设定的参数，得到一个很好的模型，但你不能解释为什么。

　　更为诡异的可能是，后来你发现你的代码中有个bug，当改正后，得到了你真正想要的模型，但这个模型的效果却明显不如有bug的模型。

　 （2）缺少更为宏观的框架

　　深度学习与人脑相比，规模十分有限，最多也只能对应到皮层很小的一个区域。只能完成单一的任务，对应到人脑也就是一瞬间的事情。而如何去建模人脑更长期的机制（如记忆机制），以及如何使用各个深度神经网络相互协同（如注意机制），仍然有待探索。

　　此外，人工智能中的某些重要问题，如常识如何引入，深度神经网络也暂时无法回答。

　　可见，深度学习在机器学习相关研究的某些方面提出了很有建设性的建议，但它还缺少理论基础，并且那些与人工智能相关的更多更关键的问题，还不是它能够解决的。