交叉熵求导

. 输入为z向量，$z=[z_1,z_2,...,z_n]$，维度为（1，n）输出$s=[\frac{e^1}{{\sum }_{k=1}^n{e}^k},\frac{e^2}{{\sum }_{k=1}^n{e}^k},...,\frac{e^n}{{\sum }_{k=1}^n{e}^k}]$,

维度为（1，n）

2. 经过softmax函数， $s_i=\frac{e^i}{{\sum }_{k=1}^n{e}^k}$

3. Softmax Loss损失函数定义为L， $L=-{\sum }_{k=1}^n{y}_i\ln \left(s_i\right)$,L是一个标量，维度为（1,1）

其中y向量为模型的Label，维度也是（1，n），为已知量，一般为onehot形式。

我们假设第 j 个类别是正确的，则y=[0,0,…1,…,0],只有$y_j=1$,其余$y_j=0$

$L=-y_j\ln \left(s_j\right)==-\ln \left(s_j\right)$

我们的目标是求 标量L对向量 Z 的导数$\frac{\partial L}{\partial Z}$

由链式法则，$\frac{\partial L}{\partial z}=\frac{\partial L}{\partial s}\cdot \frac{\partial s}{\partial z}$

其中s和z均为维度为（1，n）的向量。

$\frac{\partial L}{\partial s}=[0,0,...,-\frac{1}{s_j},0,...,0],dim=[1\ast n]$

$\frac{\partial s}{\partial z}=$如下,dim=[n*n]

$$\frac{\partial s}{\partial z}=\left[\begin{array}{cccccccc}{s}_1\ast [1-s_1]& -s_1\ast s_2& -s_1\ast s_3& ...& -s_1\ast s_j& ...& -s_1\ast s_n& \\ -s_2\ast s_1& s_2\ast [1-s_2]& -s_2\ast s_2& ....& -s_2\ast s_j& ...& -s_2\ast s_n& \\ -s_3\ast s_1& -s_3\ast s_2& s_3\ast [1-s_3]& ...& -s_3\ast s_j& ...& -s_3\ast s_n& \\ ...& ...& ...& ...& ...& ...& & \\ -s_j\ast s_1& -s_j\ast s_2& -s_j\ast s_3& ...& s_j\ast [1-s_j]& ...& -s_j\ast s_n& \\ ...& ...& ...& ...& ...& ...& & \\ -s_n\ast s_1& -s_n\ast s_2& -s_n\ast s_3& ....& -s_n\ast s_j& ...& s_n\ast [1-s_n]& \end{array}\right]$$

[1＊n] $\frac{\partial L}{\partial s}$的矩阵左乘n*n的矩阵$\frac{\partial s}{\partial z}$

$$\frac{\partial L}{\partial z}=\frac{\partial L}{\partial s}\cdot \frac{\partial s}{\partial z}=[s_1,s_2,...,s_j-1,...,s_n]=s-y$$

主要链接
在线latex
一个国外的小哥的推导