DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

DL之DNN优化技术：神经网络算法简介之数据训练优化【mini-batch技术+etc】

目录

1、mini-batch技术

输出结果

实现代码

1、mini-batch技术

输出结果

实现代码

# coding: utf-8
#DL之mini-batch：理解深度学习算法中的优化技术【mini-batch技术+etc】

import numpy as np
from DIY_module.mnist import load_mnist


(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
#设定参数one_hot_label=True，可以得到one-hot 表示（即仅正确解标签为1，其余为0 的数据结构）。

print(x_train.shape) # (60000, 784)
print(t_train.shape) # (60000, 10)


#从训练数据中随机抽取10笔数据，只需指定这些随机选出的索引，取出mini-batch，然后使用这个mini-batch 计算损失函数即可！
train_size = x_train.shape[0]
batch_size = 10
batch_mask = np.random.choice(train_size, batch_size)
#np.random.choice(60000, 10)会从0 到59999 之间随机选择10 个数字

x_batch = x_train[batch_mask]
t_batch = t_train[batch_mask]


#实现mini-batch版交叉熵误差
#同时处理单个数据和批量数据（数据作为batch集中输入）两种情况的函数。
def cross_entropy_error(y, t):
    if y.ndim == 1: #if判断y的维度为1 时，即求单个数据的交叉熵误差时，需要改变数据的形状
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size) #当输入为mini-batch 时，要用batch 的个数进行正规化，计算单个数据的平均交叉熵误差。
    batch_size = y.shape[0]
    return -np.sum(t * np.log(y + 1e-7)) / batch_size

#当监督数据是标签形式（非one-hot 表示，而是像“2”“7”这样的标签）时，交叉熵误差可通过如下代码实现。
#(1)、实现的要点是，由于one-hot表示中t为0的元素的交叉熵误差也为0，因此针对这些元素的计算可以忽略。即如果可以获得神经网络在正确解标签处的输出，就可以计算交叉熵误差。
def cross_entropy_error(y, t):
    if y.ndim == 1:
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size)
    batch_size = y.shape[0]
    return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size  #微小值1e-7

#np.log(y[np.arange(batch_size),t]) #np.arange(batch_size)会生成一个从0到batch_size-1的数组
#y[np.arange(batch_size),t]  #会生成NumPy数组[y[0,2], y[1,7], y[2,0],y[3,9], y[4,4]])。