【机器学习】——卷积神经网络(Keras)修改学习率(定值+自适应)
2023-09-11 14:21:45 时间
目录
利用tensorflow的Keras模块我们可以建立我们自己定义的卷积神经网络模型,但是一般不会触碰到学习率这个问题,一般默认的学习率都是0.001,有时候希望学习率小一点,需要调参,因此记录一下
1、直接获取现有模型的学习率
import tensorflow.keras as tfk
from tensorflow.keras import backend
# 获取学习率的数值
lr = backend.get_value(model.optimizer.lr)
# 修改当前模型的学习率
backend.set_value(model.optimizer.lr,new_lr_value)
2、打印显示学习率
def get_lr_metric(optimizer): # printing the value of the learning rate
def lr(y_true, y_pred):
return optimizer.lr
return lr
optimizer = Adam(lr=1e-4)
lr_metric = get_lr_metric(optimizer)
model.compile(optimizer = optimizer, loss = 'MSE', metrics = ['acc', lr_metric])
3、调整学习率
Keras提供两种学习率适应方法,调整学习率需要在model.fit或者model.fit_generator中的callbacks回调函数中实现。
1)1.LearningRateScheduler
keras.callbacks.LearningRateScheduler(schedule)
参数
- schedule:函数,该函数以epoch号为参数(从0算起的整数),返回一个新学习率(浮点数)
import keras.backend as K
from keras.callbacks import LearningRateScheduler
def scheduler(epoch):
# 每隔100个epoch,学习率减小为原来的1/10
if epoch % 100 == 0 and epoch != 0:
lr = K.get_value(model.optimizer.lr)
K.set_value(model.optimizer.lr, lr * 0.1)
print("lr changed to {}".format(lr * 0.1))
return K.get_value(model.optimizer.lr)
reduce_lr = LearningRateScheduler(scheduler)
model.fit(train_x, train_y, batch_size=32, epochs=300, callbacks=[reduce_lr])
2)ReduceLROnPlateau
当评价指标不在提升时,减少学习率 当学习停滞时,减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况,如果在patience个epoch中看不到模型性能提升,则减少学习率
参数
- monitor:被监测的量
- factor:每次减少学习率的因子,学习率将以lr = lr*factor的形式被减少
- patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发
- mode:‘auto’,‘min’,‘max’之一,在min模式下,如果检测值触发学习率减少。在max模式下,当检测值不再上升则触发学习率减少。
- epsilon:阈值,用来确定是否进入检测值的“平原区”
- cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作
from keras.callbacks import ReduceLROnPlateau
reduce_lr = ReduceLROnPlateau(monitor='val_loss', patience=10, mode='auto')
model.fit(train_x, train_y, batch_size=32, epochs=300, validation_split=0.1, callbacks=[reduce_lr])
相关文章
- 神经网络与机器学习 笔记—卷积神经网络(CNN)
- 神经网络与机器学习 笔记—LMS(最小均方算法)和学习率退火
- 4-机器学习进阶-神经网络压缩
- (《机器学习》完整版系列)第5章 神经网络——5.1 误差逆传播算法(BP算法是梯度下降法的应用)
- (《机器学习》完整版系列)第5章 神经网络——5.4 BP算法的高级表达(简洁之美)
- [吴恩达机器学习笔记]12支持向量机5SVM参数细节
- [吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释
- 机器学习笔记之前馈神经网络(四)反向传播算法[数学推导过程]
- 【HMS Core】一张图片带你玩转机器学习服务
- 机器学习的数学基础 - 期望、方差、协方差
- 吴恩达机器学习笔记 —— 1 绪论:初识机器学习
- 吴恩达机器学习笔记 —— 10 神经网络参数的反向传播算法
- 《机器学习与数据科学(基于R的统计学习方法)》——2.3 数据的来源
- 《Python机器学习实践指南》——1.1 数据科学/机器学习的工作流程
- Python机器学习零基础理解回归模型的准确性指标和评估
- 从零单排入门机器学习:线性回归(linear regression)实践篇
- 机器学习原来如此有趣:如何故意欺骗神经网络
- python进行机器学习(四)之模型验证与参数选择
- 机器学习——深度学习之卷积神经网络(CNN)——AlexNet卷积神经网络结构