zl程序教程

您现在的位置是:首页 >  IT要闻

当前栏目

【机器学习每日一问03】交叉熵与极大似然估计的关系

2023-04-18 14:49:19 时间

先说结论:是等价的

交叉熵:

假设 X 为一个离散随机变量I

时的自信息

定义熵​

有两个单独的概率分布P(X)(数据的原始分布)和Q(x),现定义一个KL散度用以描述这两个分布之间的差异:

定义交叉熵:

最小化交叉熵即最小化:

现考虑一个分布P(X),我们从中随机取一些样本

,计算一个似然

,则似然函数

: 。

最大似然估计:

与最小化交叉熵是等价的。