pytorch 21 各种学习率调度器的使用

pytorch内置的学习率调度在lr_scheduler包下可以使用from torch.optim import lr_scheduler。为了更直观的了解各种调度器的学习率调整过程，现将各种学习率调度器的使用和学习率曲线进行绘图。其详细的使用方法可见以下官网地址https://pytorch.org/docs/1.9.1/search.html?q=lr_scheduler&check_keywords=yes&area=default，下面只简单介绍基本的参数列表和使用方法，及其调度曲线。

1、cosineAnn

使用余弦退火算法调整学习率，其周期为T_max*2个step，其调度效果如图1所示。

scheduler = lr_scheduler.CosineAnnealingLR(optimizer, T_max=10)