【深度学习入门】基础概念记录

全连接层

1x1的卷积层可以当做全连接层用！

全连接层，是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。

Dense是全连接层中的隐藏层！

激活函数

激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

MLP（多层感知机）和SVM（支持向量机）

都是分类问题中的，SVM是二分类，MLP是多分类！

通常情况下，SVM通常在训练时速度更快，尤其是对于大型训练集，其识别率比MLP略高。

多层感知机在输出层与输⼊层之间加⼊了⼀个或多个全连接隐藏层，并通过激活函数对隐藏层输出进⾏变换。常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数

激活函数

回归 和 分类

回归问题是连续变量，分类问题离散变量。

softmax回归

softmax 回归 (softmax regression)其实是 logistic 回归的一般形式，logistic 回归用于二分类，而 softmax 回归用于 多分类

损失函数

损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

常见的目标检测模型

池化层

高宽减半、输出通道数不变

池化层是模仿人的视觉系统对数据进行降维，用更高层次的特征表示图像。

实施池化的目的：(1) 降低信息冗余；(2) 提升模型的尺度不变性、旋转不变性；(3) 防止过拟合。

池化层的常见操作包含以下几种：最大值池化，均值池化，随机池化，中值池化，组合池化等。

残差网络

残差网络的提出是在梯度消失和梯度爆炸问题背景下，内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题 。

batch、epoch、iteration的含义

• 参考：https://blog.csdn.net/qq_18668137/article/details/80883350

（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
（2）iteration：1个iteration等于使用batchsize个样本训练一次；
（3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。

比如训练集有500个样本，batchsize = 10 ，那么训练完整个样本集：iteration=50，epoch=1.

batch: 深度学习每一次参数的更新所需要损失函数并不是由一个数据获得的，而是由一组数据加权得到的，这一组数据的数量就是batchsize。

batchsize最大是样本总数N，此时就是Full batch learning；最小是1，即每次只训练一个样本，这就是在线学习（Online Learning）。当我们分批学习时，每次使用过全部训练数据完成一次Forword运算以及一次BP运算，成为完成了一次epoch。

目标检测算法总结：R-CNN，SSD，YOLO

超参数

超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

一次卷积会让图片变小

假如图片是32x32，经过一个5x5的卷积核后，图片大小变成了(32-5+1)x(32-5+1)大小的图片，即28x28。

如果不想让卷积后的图片变小，可以使用：填充。

而如果在固定的卷积核大小情况下，想快速得到小的输出（用的层数少），可以使用：步幅！

CPU GPU

数据增强

随机截取、改变色温等参数，进行训练，可以避免神经网络记住我的数据！

mAP

参考：

• 目标检测mAP计算以及coco评价标准：https://www.bilibili.com/video/BV1ez4y1X7g2?spm_id_from=333.999.0.0
• 目标检测mAP的计算& COCO的评价指标：https://zhuanlan.zhihu.com/p/399837729