引言

在指数族分布介绍中提到了充分统计量这个概念，并且介绍了如果一个指数族分布已知充分统计量，就可以基于该统计量得到完整的概率分布表达形式。本节将从概率密度积分和极大似然估计的角度介绍 如何通过充分统计量$\varphi (x)$求解概率分布$P(x\mid \eta )$中的模型参数$\eta$.。

回顾：指数族分布

指数族分布的一般式表达如下：
$$P(x\mid \eta )=h(x)e^{{\eta }^T\varphi (x)-A(\eta )}$$
其中，$\eta$表示概率模型/概率分布$P(x\mid \eta )$的参数；$\varphi (x)$表示样本的充分统计量，它本质上是关于样本$x$的函数；$A(\eta )$表示对数配分函数。

从概率密度积分角度观察充分统计量与模型参数间的联系

观察上式，$P(x\mid \eta )$本质上是关于样本$x$的概率分布，则$P(x\mid \eta )$的概率密度积分结果等于1。即：
$${\int }_{x}P(x\mid \eta )dx=1$$

将指数族分布一般式带入上式，则有：
$$\begin{gathered} {\int }_{x}h(x)e^{{\eta }^T\varphi (x)-A(\eta )}dx=1 \\ {\int }_x\frac{h(x)e^{{\eta }^T\varphi (x)}}{e^{A(\eta )}}dx=1 \end{gathered}$$

由于$e^{A(\eta )}$中不含$x$，上式可转化为：
$$\begin{gathered} \frac{{\int }_{x}h(x)e^{{\eta }^T\varphi (x)}dx}{e^{A(\eta )}}=1 \\ {e}^{A(\eta )}={\int }_{x}h(x)e^{{\eta }^T\varphi (x)}dx \end{gathered}$$

基于该式，观察对数配分函数$A(\eta )$与充分统计量$\varphi (x)$之间的联系。上述等式两端对$\eta$求导：

• 等式左端：
  $$\frac{\partial e^{A(\eta )}}{\partial \eta }=e^{A(\eta )}\cdot A^{\prime }(\eta )$$
• 等式右端：
  牛顿-莱布尼兹公式，将偏导提到积分号内部；积分号内部公式只有${\eta }^T$和$\eta$相关。
  $$\frac{\partial {\int }_{x}h(x)e^{{\eta }^T\varphi (x)}}{\partial \eta }={\int }_{x}h(x)e^{{\eta }^T\varphi (x)}\cdot \varphi (x)dx$$

最终有：
$$\begin{gathered} e^{A(\eta )}\cdot A^{\prime }(\eta )={\int }_{x}h(x)e^{{\eta }^T\varphi (x)}\cdot \varphi (x)dx \\ {A}^{\prime }(\eta )=\frac{{\int }_{x}h(x)e^{{\eta }^T\varphi (x)}\cdot \varphi (x)dx}{e^{A(\eta )}} \end{gathered}$$

由于$e^{A(\eta )}$与$x$无关，因此可以直接加入到积分号内部。
$\frac{1}{e^{A(\eta )}}$在对$x$的积分式子中视为常数。
$$\begin{array}{rl}{A}^{\prime }(\eta )& ={\int }_x\frac{1}{e^{A(\eta )}}\cdot h(x)e^{{\eta }^T\varphi (x)}\cdot \varphi (x)dx\\ & ={\int }_{x}h(x)e^{{\eta }^T(\varphi (x)-A(\eta ))}\cdot \varphi (x)dx\end{array}$$

观察上式，积分号中的$h(x)e^{{\eta }^T(\varphi (x)-A(\eta ))}$就是概率分布$P(x\mid \eta )$的一般式形式。因此，使用$P(x\mid \eta )$进行替换：
$$A^{\prime }(\eta )={\int }_{x}P(x\mid \eta )\cdot \varphi (x)dx$$
可以将该式写成期望形式：
$$A^{\prime }(\eta )={\mathbb{E}}_{p(x\mid \eta )}[\varphi (x)]$$

至此，物品们发现对数配分函数的一阶导函数与充分统计量之间的关联关系。
实际上，我们已经找到了概率模型$P(x\mid \eta )$中的模型参数$\eta$与充分统计量$\varphi (x)$之间的联系：
其中$A^{\prime (-1)}(\eta )$表示$A^{\prime }(\eta )$的反函数。
$$\eta =A^{\prime (-1)}(\eta )={\mathbb{E}}_{P(x\mid \eta )}^{(-1)}[\varphi (x)]$$

下面从样本极大似然估计的角度观察似然结果最大的概率模型参数${\eta }_{MLE}$与充分统计量$\varphi (x)$之间的联系。

从极大似然估计角度观察充分统计量与模型参数间的联系

• 符号定义：假设数据集合$\mathcal{X}$中包含$N$个样本：
  X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } \mathcal X = \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} X={x(1),x(2),⋯,x(N)}

基于极大似然估计的定义，极大似然估计方法求解最优模型参数${\eta }_{MLE}$表示如下：
$P$表示概率分布,$p$表示概率密度函数。
$$\begin{array}{rl}{\eta }_{MLE}& =\underset{\eta }{\mathrm{argmax}}\log P(\mathcal{X}\mid \eta )\\ & =\underset{\eta }{\mathrm{argmax}}\prod _{x^i\in \mathcal{X}}p(x^{(i)}\mid \eta )\\ & =\underset{\eta }{\mathrm{argmax}}\sum _{x^{(i)}\in \mathcal{X}}\log p(x^{(i)}\mid \eta )\end{array}$$

将指数族分布一般式带入：
$$\begin{array}{r}\underset{\eta }{\mathrm{argmax}}\sum _{x^{(i)}\in \mathcal{X}}\log \left[h(x^{(i)})e^{{\eta }^T\varphi (x^{(i)})-A(\eta )}\right]\end{array}$$

将公式展开，$\log$带进公式：
$$\underset{\eta }{\mathrm{argmax}}\sum _{x^{(i)}\in \mathcal{X}}\left[\log h(x^{(i)})+{\eta }^T\varphi (x^{(i)})-A(\eta )\right]$$

由于求解关于$\eta$的最优值，因此$\log h(x^{(i)})$与$\eta$无关。最终将公式化简为：
$${\eta }_{MLE}=\underset{\eta }{\mathrm{argmax}}\sum _{x^{(i)}\in \mathcal{X}}\left[{\eta }^T\varphi (x^{(i)})-A(\eta )\right]$$

为了求解最优值${\eta }_{MLE}$，我们对上述公式对$\eta$进行求导：
离散条件下的牛顿莱布尼兹公式。
$$\begin{array}{rl}\frac{\partial {\sum }_{x^{(i)}\in \mathcal{X}}\left[{\eta }^T\varphi (x^{(i)})-A(\eta )\right]}{\partial \eta }& =\sum _{x^{(i)}\in \mathcal{X}}\frac{\partial [{\eta }^T\varphi (x^{(i)})-A(\eta )]}{\partial \eta }\\ & =\sum _{x^{(i)}\in \mathcal{X}}\varphi (x^{(i)})-\sum _{x^{(i)}\in \mathcal{X}}{A}^{\prime }(\eta )\end{array}$$

由于$A^{\prime }(\eta )$与$i$无关，因此上式转化为：
$$\sum _{x^{(i)}\in \mathcal{X}}\varphi (x^{(i)})-N\cdot A^{\prime }(\eta )$$

令$\frac{\partial {\sum }_{x^{(i)}\in \mathcal{X}}\left[{\eta }^T\varphi (x^{(i)})-A(\eta )\right]}{\partial \eta }\triangleq 0$，有：
$$\begin{gathered} A^{\prime }({\eta }_{MLE})=\frac{1}{N}\sum _{x^{(i)}\in \mathcal{X}}\varphi (x^{(i)}) \\ {\eta }_{MLE}=A^{\prime (-1)}({\eta }_{MLE}) \end{gathered}$$

总结

无论是通过概率密度积分角度直接观察$A^{\prime }(\eta )$和$\varphi (x)$之间关系的方式还是通过极大似然估计方式求解最优模型参数${\eta }_{MLE}$，都能发现求解$\eta$最关键的因素就是充分统计量。

这进一步验证了指数族分布中如果已知充分统计量，我们就可以对 概率分布进行完整估计。

相关参考：
机器学习-白板推导系列(八)-指数族分布（Exponential Family Distribution）