人工智能概念记录

1、quantize 量化; normalize（归一化）
2、Convolution指卷积 DeConvolution反卷积 innerproduct内积 mnist数据集 gradient梯度
3、NNDT 编译器 act编译
4、upsample：利用传统插值方法进行上采样。往往会在upsample后接一个conv，进行学习。任务：超分，目标检测。
input_h/w * size
5、pattern：样本
6、feature map:在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map
7、LSTM长短期记忆人工神经网络（Long-Short Term Memory）是一种时间递归神经网络(RNN)，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
由于其结构和RNN很相似，就是将单一的激活函数换成更为复杂的结构
8、Concat层的功能：Concat层实现输入数据的拼接。Concat层是一个实用程序层，它将多个输入blob连接到一个输出blob（按照给定的axis，注意除了规定的axis以外，被concat的输入bolb的其他维度的size必须一致）。
9、slice，如果说之前的Concat是将多个bottom合并成一个top的话，那么这篇博客的slice层则完全相反，是把一个bottom分解成多个top
10、Batch Normalization 在深度神经网络训练过程，使得每一层神经网络的输入保持相同分布。
11、softmax 再小的值也有权重，突出较大的值
12、算子 实际上就是一种数学函数,不过可以对函数本身定义一定的运算.可以简单的理解成＂算法＂
13、shuffle 随机打乱
14、不少PC端软件的编译器则会根据操作系统或处理器（如64位XP）把int定义为8字节（64位）
15、embedding 嵌入
16、IR（信息检索模型）由[D,Q,F,R]组成, D：表示文档集，Q表示用户的查询集合，F为文档表示，查询表示和它们之间关系的模型框架，R表示排序函数。
17、blob 计算机视觉中的Blob是指图像中的一块连通区域，Blob分析就是对前景/背景分离后的二值图像，进行连通域提取和标记。
标记完成的每一个Blob都代表一个前景目标，然后就可以计算Blob的一些相关特征。
其优点在于通过Blob提取，可以获得相关区域的信息，但是速度较慢，分析难度大。
18、串行serial 并行parallel
19、Sample: 样本，数据集中的一个元素，一条数据，如一张图片，一段音频
Epoch: 轮次，通常被定义为「在整个数据集上的一轮迭代」，用于训练的不同的阶段，这有利于记录和定期评估。
Batch: 批,含有N个样本的集合。每一个 batch 的样本都是独立并行处理的。推理时选用较大Batch,batchsize是每批处理的样本个数
20、NCL 长度 语音 / NCHW(4维坐标)图片 N表示batch,图像数量; C表示通道. 二维（N，D）
21、CGRA 231
22、存储模式：nhwc:又称“channels_last”，是CPU指令比较适合的方式，SSE 或 AVX优化，沿着最后一维，即C维计算，会更快(n-batch number)
NHWC排列，C在最内层，所以每个通道内，像素间隔挨在一起，即“RGBRGBRGB”；N表示bitch,bitch=1表示单bitch
nchw:C在外层，所以每个通道内，像素紧挨在一起，即“RRRGGGBBB”；
23、一个算子的构成：名称、层类型、bottom blob、top blob、输入输出channel、height、width、单个数据占字节类型。
24、kernel: 内核是一个2维矩阵，长 × 宽；
filter：滤波器是一个三维立方体，长× 宽 × 深度,其中深度便是由 多少张内核构成:可以说kernel 是filter 的基本元素，3张kernel 组成一个filter;
filter的最大的特点是其深度与输入层的深度是一致的
25、channel 一般可代表每个卷积层中卷积核的数量。 输入层in_channels=3代表RGB彩色，1代表灰色;输出的通道数 out_channels 取决于过滤器的数量;
对于第二层或者更多层的卷积，此时的 in_channels 就是上一层的 out_channels ， out_channels 还是取决于过滤器数目
26、strides b表示样本上的步长，默认为1，即每一个样本都会进行运算；h表示高度上步长，w表示宽度上步长，c表示通道上步长，默认1。
strides = [1, stride, stride, 1]，第一个1表示每一个样本都会计算，最后一个1表示每个通道都会计算
27、tensor张量：张量的维度（demension）通常叫做轴(axis) axis=i，则沿着第i个下标变化的方向进行操作
第0轴（axis=0或-2）沿着行的垂直往下，第1轴（axis=1或axis=-1，对于二维数组，两者相同）沿着列的方向水平延伸。
关键属性：①轴的个数，在python库中也叫做张量的ndim；②形状。例如一个元素的（5，），矩阵（3，5），3D张量（2，2，1）；③数据类型：在python中叫dtype,包括float32\unit8\float64
仅含有一个数字的张量叫标量（零维张量、0D张量）；向量叫一维张量（1D张量）；矩阵（2D张量）；
28、activation 是由层创建的权重矩阵，激活功能(可调用),将其设置为“None”以保持线性激活.
29、整数分为有符号整数和无符号整数，根据它们所占计算机位长度，分为了四种大小：8位，16位，32位和64位。
分别用 int8/uint8，int16/uint16，int32/uint32 和 int64/uint64表示。
30、tf.keras.layers.Dense(10,input_shape=(None,5))： 10对应的是units这个参数，5表示每个样本应该有多少特征
31、CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。
而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。
GPU采用了数量众多的计算单元和超长的流水线，但只有非常简单的控制逻辑并省去了Cache。
而CPU不仅被Cache占据了大量空间，而且还有有复杂的控制逻辑和诸多优化电路，相比之下计算能力只是CPU很小的一部分
32、register寄存器 thread线程 exponent指数 fraction小数 decay衰减 stochastic随机 Flattening摊平
33、正则化中我们将保留所有的特征变量，但是会减小特征变量的数量级，降低模型复杂度和不稳定程度，从而避免过拟合的危险
34、深度神经网络DNN，卷积神经网络CNN，循环神经网络RNN
35、Top-1 Accuracy是指排名第一的类别与实际结果相符的准确率，而Top-5 Accuracy是指排名前五的类别包含实际结果的准确率
36、caffe不支持int16
37、单词 buffer缓存 discard丢弃
38、分组卷积：将输入分成组，每个卷积核也相应分成组，在对应的组内做卷积。分组数是通道数
当group为1是就是普通卷积
39、为什么量化：削减模型大小，量化后的模型可以减少存储空间，因为硬件平台的自身性能不理想，如计算力低，内存、电量消耗等限制，导致模型推断速度慢、功耗高；
定点运算指令比浮点运算指令在单位时间内能处理更多数据；
40、训练的目的:一层一层去找到数据特征间的关系，直到最后，我们可以很好地将数据特征分类，以此来对特征进行分类
41、deep值得是网络有多少层，scale指的是该层特征图的每个像素点等价于原始输入图像中几个像素点，resolution指的是输入图像尺寸。
42、dilation 是对 kernel 进行膨胀，多出来的空隙用 0 padding。用于克服 stride 中造成的 失真问题。
43、卷积和反卷积并不是完全对等的可逆操作（因为采用相同的卷积核，卷积和反卷积得到的输入输出不同），也就是反卷积只能恢复尺寸，不能恢复数值
44、dim .如果data是数据帧dim(data)[-1]将返回列数，dim(data)[1]将返回行数。
dim=0，将[]中的n个矩阵变成n维，按照顺序，第i维是第i个矩阵，size=(i，x，y)
dim=1，将列表[]中的每个矩阵的第一行组成第一维矩阵，依次下去,每个数组第n行组成第n维数组。size=(n，i，y)
dim=2 dim=-1，将列表[]中的每个矩阵的第一行的第一个值，组成第一维的第一行，每一个矩阵的第一行第二个值组成第一维的第二行，每个矩阵的第二行的第一个值，组成第二维的第一行，每一个矩阵的第二行第二个值组成第二维的第二行，以此类推
45、reduction:对输入数据分块，对每一个分块汇总，然后再将汇总后的数据视为新的输入数据，重复分块和汇总，直到得到最终结果，
46、训练推理区别 推理：网络权值已经固定下来，无反向传播过程。模型固定，可以对计算图进行优化，还可以输入输出大小固定，可以做memory优化
训练的时候因为要保证前后向传播，每次梯度的更新是很微小的，这个时候需要相对较高的精度，是在推断（Inference）的时候，对精度的要求没有那么高

人的精神有三种境界：骆驼、狮子和婴儿。第一境界骆驼，忍辱负重，被动地听命于别人或命运的安排；第二境界狮子，把被动变成主动，由“你应该”到“我要”，一切由我主动争取，主动负起人生责任；第三境界婴儿，这是一种“我是”的状态，活在当下，享受现在的一切。