DL之AlexNet：AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略

DL之AlexNet：AlexNet算法的简介(论文介绍)、设计思路、案例应用等配图集合之详细攻略

 

 

 

 

目录

AlexNet简介

1、采用的数据集

2、论文

AlexNet架构详解

1、整体架构 

2、实验结果 

3、AlexNet网络所需算力

4、8个ILSVRC-2010测试图像和模型认为最可能的前5个标签

AlexNet算法的案例应用

---

 

 

 

 

 

相关文章
Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合(建议收藏，持续更新)
DL之CNN(paper)：关于CNN(卷积神经网络)经典论文原文(1950~2018)简介、下载地址大全(非常有价值)之持续更新(吐血整理)
DL之AlexNet：AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略

 

 

AlexNet简介

      作者：AlexKrizhevsky、GeoffreyE.Hinton(多伦多大学)。AlexNet以巨大的优势(领先第二名10%的成绩)，在ILSVRC2012图像分类竟赛第一名，将top-5 错误率原来的25%降至16.4%。标志着深度学习革命的开始，掀起了深度卷积神经网络在各个领域的研究热潮。

 

1、采用的数据集

ImageNet ILSVRC-2010数据集：1.2 million图片1000类别 。

 

 

2、论文

2012《ImageNet Classification with Deep Convolutional  Neural Networks》
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.
Imagenetclassification with deep convolutional neural networks. NIPS 2012.
论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

 

 

AlexNet架构详解

DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略

 

1、整体架构 

• 网络配置：卷积神经网络网络架构：5个卷积层和3个全连接层。双CPU并行计算，在第三个卷积层和全连接层做信息交互。
• 网络规模：总共60 million个参数；650,000个神经元。在两个NVIDIA GTX 580 3GB GPU上训练需要5~6天。 
• 架构组件与技巧：ReLU、Dropout、LRN(Local Response Normalization) 、Overlapping max pooling 、数据增强 、双CPU训练 

2、实验结果 

• ILSVRC-2010: top-1和top-5错误率分别为37.5%和17.0% 
• ILSVRC-2012: top-5错误率分别为16.4% 
• 在整个ImageNet 2011数据集上预训练后的结果：ILSVRC-2012，top-5猎误为15.3% 

(1)、ILSVRC-2010训练集上的结果比较

             可知，远远好于传统手工提取的方法。

(2)、ILSVRC-2012验证集和测试集上的错误率比较

          最后一个7个卷积层的网络错误率达到15.3%。

               带星号*的是在整个更大的ImageNet 2011数据集(15M图像, 22K类别)上预训练后再微调的结果。

 

3、AlexNet网络所需算力

(1)、AlexNet的forward处理中各层的时间比：左边是使用GPU的情况，右边是使用CPU的情况。图中的“conv”对应卷积层，“pool”对应池化层，“fc”对应全连接层，“norm”对应正规化层。

图片来源：Jia Yangqing（2014）: Learning Semantic Image Representations at a Large Scale. PhD thesis, EECS Department, University of California, Berkeley, May 2014.

(2)、使用CPU 的“16-core Xeon CPU”和GPU的 “Titan 系列”进行AlexNet的学习时分别所需的时间

图片来源：NVIDIA blog “NVIDIA Propels Deep Learning with TITAN X, New DIGITS Training System and DevBox”.

 

 

 

4、8个ILSVRC-2010测试图像和模型认为最可能的前5个标签

     正确的标签写在每个图像下面，分配给正确标签的概率也用红色条显示（如果恰好位于前5个）。

     第一列是5个ILSVRC-2010的测试图像；其余的列显示了6个最近的训练图像(即在最后隐藏层生成的特征向量和测试图像的特征向量具有最小的欧几里得距离)。 

 

 

 

AlexNet算法的案例应用

后期更新……