机器学习是实现人工智能的一种具体的方法。它 使用算法从数据中进行学习，尝试从数据中找到一种能够拟合这些数据的模型，从而达到使用这个模型对未知的数据进行预测的目的。

深度学习：2012年之后，由于数据量的增加、计算能力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。深度学习并不是新的学习方法，他使用的方法也是类似机器学习的手段，区别在于深度学习通过深度神经网络来对数据的特征进行学习和表达。

一、人工智能、机器学习、深度学习关系

• 人工智能和机器学习，深度学习的关系
  • 机器学习是人工智能的一个实现途径
  • 深度学习是机器学习的一个方法发展而来

二、深度学习技术发展史

神经网络在1980年代就已经有了，为什么最近几年才火起来？

1、计算机的计算能力的提升是最主要原因

2、其他因素

• BigData
• ReLU
• Dropout
• BatchNorm
• Xavier Initialization
• Kaiming Initialization
• Caffe/TensorFFlow/PyTorch
• ResNet
  
• ReLu激活函数解决了梯度弥散的问题；
• ResNet使得神经网络的深度可以达到100+；
• Xaview Initialization初始化提升神经网络训练的效果；
• TensorFlow/PyTorch工具使得神经网络的梯度计算更加简便；

三、深度学习算法图解

1、深度学习步骤简略图

2、神经网络示例

一个男孩想要找一个女朋友，于是实现了一个女友判定机，随着年龄的增长，他的判定机也一直在变化

14岁的时候（机器学习模型，输入的是已经经过特征工程处理过的数据）：

无数次碰壁之后，男孩意识到追到女孩的可能性和颜值一样重要，于是修改了判定机（机器学习模型，输入的是已经经过特征工程处理过的数据）：
在15岁的时候终于找到呢女朋友，但是一顿时间后他发现有各种难以忍受的习惯，最终决定分手。一段空窗期中，他发现找女朋友很复杂，需要更多的条件才能够帮助他找到女朋友，于是在25岁的时候，他再次修改了判定机（机器学习模型，输入的是已经经过特征工程处理过的数据）：
在更新了女友判定机之后，问题又来了，很多指标不能够很好的量化，如何颜值，什么样的叫做颜值高，什么样的叫做性格好等等，为了解决这个问题，他又更新了判定机，最终得到超级女友判定机（神经网络模型，输入的是基础数据）：

上述的超级女友判定机其实就是神经网络，它能够接受基础的输入，通过隐藏层的线性的和非线性的变化最终的到输出

通过上面例子，希望大家能够理解深度学习的思想：

• 输出的最原始、最基本的数据，通过模型来进行特征工程，进行更加高级特征的学习，然后通过传入的数据来确定合适的参数，让模型去更好的拟合数据。
• 这个过程可以理解为盲人摸象，多个人一起摸，把摸到的结果乘上合适的权重，进行合适的变化，让他和目标值趋近一致。整个过程只需要输入基础的数据，程序自动寻找合适的参数。

3、深度学习的思想

让模型对原始数据进行特征抽取，只需要喂给模型一些基础特征数据即可。至于如何组合、抽象这些基础数据则由模型通过对训练数据梯度下降的方法优化损失函数来得到最优的组合参数。不需要人工处理。

4、深度学习步骤详细图

5、神经网络层数

6、神经网络应用于手写数字识别

7、神经网络模型的评价：损失函数

神经网络重要内容

---

---

---

参考资料
Convolutional Network Demo from 1993