第二卷 第六章 高级优化方法

        到目前为止，在本书中，我们只研究并使用了随机梯度下降(SGD)来优化我们的网络——但还有其他优化方法可用于深度学习。具体来说，这些更高级的优化技术旨在：

        1.减少时间量（即epoch数）以获得合理的分类精度。

        2.使网络对于除学习率之外的更大范围的超参数更“表现良好”。

        3.理想情况下，获得比SGD更高的分类准确度。

        随着深度学习的不断进步，出现了大量新的优化技术，每一种都试图改进SGD并提供自适应学习率的概念。正如我们所知，SGD与给定的学习率成正比地修改网络中的所有参数。然而，鉴于网络的学习率是

        (1)要调整的最重要的超参数

        (2)一个难以正确设置的繁琐的超参数，深度学习研究人员假设可以自适应地调整学习率（并且在在某些情况下，每个参数）作为网络训练。

        在本章中，我们将回顾自适应学习率方法。我还将提供有关您应该在自己的项目中使用哪些优化算法的建议