第三卷 第八章 在ImageNet上训练SqueezeNet

        关于在ImageNet大规模视觉识别挑战 (ILSVRC) 上训练深度神经网络的最后一章中，将讨论SqueezeNet深度学习架构。 在2016年的论文中，SqueezeNet：AlexNet级别的准确度，参数减少了50倍，模型大小小于0.5MB。

        本书中讨论的大多数先前网络架构的模型大小在 100MB (ResNet) 和 553MB (VGGNet) 之间。 AlexNet也位于这个大小范围的中间，为249MB。 最微小的模型大小是28MB的GoogLeNet——但我们能否做得更小，同时仍保持最先进的准确性？

        答案是肯定的，我们绝对可以通过应用1*1和3*3卷积的新颖用法来减小模型大小，并且没有完全连接的层。最终结果是一个重量为4.9MB的模型，它可以 通过模型压缩进一步减少到0.5MB，也称为权重修剪和“稀疏模型”（将层间最小权重值的50%设置为零）。在本章中，我们将重点介绍 SqueezeNet的原始实现。 模型压缩的概念，包括量化，不在本书的范围内，但可以在相关的学术出版物中找到。

        1、理解SqueezeNet

        1.1 Fire 模块

        论文中有两个目的。第一个是为设计卷积神经网络的更多研究提供一个案例，该网络可以在参数数量显着减少的情况下进行训练（同时仍然获得高水平的准确性）。 第二个贡献是 Fire 模块本身，这个目标的实际实现。

        Fire 模块的工作方式非常聪明，