马尔可夫随机场MRF是无向图模型，对于一个一般的无向图，我们可以对其“分解”：拆成“局部”是全连接的子图，这就引入了“团”（clique）与“极大团”的概念，“团”（全连接的子图）有对应的“势”（场的“因子”）。
全连接（任意两结点间都有连接）是很特殊的无向图，它可视为一个整体，可以用联合分布概率表刻画，再去掉和为一的概率限制，即为用势函数来刻画。

马尔可夫随机场

我们知道，在有向图模型中，箭头线代表依赖关系，因而可用条件概率来刻画，然而，马尔可夫随机场MRF是无向图模型，故条件概率就不适用了。

全连接（任意两结点间都有连接）是很特殊的无向图，它可视为一个整体，可以用联合分布概率表刻画，再去掉和为一的概率限制，即为用势函数来刻画。 势函数模式通过规范化即可得到概率。

那么，对于一个一般的无向图，我们可以对其“分解”：拆成“局部”是全连接的子图，这就引入了“团”（clique）与“极大团”的概念，“团”（全连接的子图）有对应的“势”（场的“因子”）。 观察【西瓜书图14.2】知，团的分解中，团是集合，团与团之间可能有元素相同。 对极大团分解也是一样的。

注：由于团与因子对应，为减少因子，故通常“极小团”为相连的两结点构成的子图，但链式马尔可夫随机场时，没有成三角形的团，相连的两结点构成“极大团”，为增加因子，这时，将“极小团”定义为一个结点构成，如，式(14.27)。

模型一定是基于某种假设的，MRF的假设之一就是：将图进行团（或极大团）分解，整个图的概率（结点的联合概率）能“分解为”（正比例于）多个因子的乘积，而每个因子（势函数）对应一个团（或极大团）。

因此，MRF中的$n$个变量 x = { x 1 , x 2 , ⋯   , x n } \boldsymbol{\mathrm{x}}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}（注意，它不是向量，而是图中结点的集合，集合记号： x = { x 1 , x 2 , ⋯   , x n } \boldsymbol{\mathrm{x}}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}，向量记号：$\mathbf{x}=(x_1,x_2,\cdots ,x_n)$）的联合分布概率$P(\mathrm{x})$有两种定义：基于团分解的定义【西瓜书式(14.2)】和基于极大团分解的定义【西瓜书式(14.3)】，其中，含有规范化因子（概率化因子）$\mathrm{Z}$或${\mathrm{Z}}^{\ast }$。 显然，两定义并不兼容（不相等），从因子个数的角度来看，前者多于后者（因为极大团也是团），所以，应根据应用的实际情况来选用哪个定义。

对【西瓜书式(14.2)】两边求基于$\mathrm{x}$的和
$$\begin{array}{rl}\sum _{\begin{array}{c}(x_1,x_2,\cdots ,x_n)\\ \text{的各种取值组合}\end{array}}P(\mathrm{x})& =\sum _{\begin{array}{c}(x_1,x_2,\cdots ,x_n)\\ \text{的各种取值组合}\end{array}}\frac{1}{\mathrm{Z}}\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathrm{x}}_Q)\\ 1& =\frac{1}{\mathrm{Z}}\sum _{\begin{array}{c}(x_1,x_2,\cdots ,x_n)\\ \text{的各种取值组合}\end{array}}\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathrm{x}}_Q)\\ \mathrm{Z}& =\sum _{\begin{array}{c}(x_1,x_2,\cdots ,x_n)\\ \text{的各种取值组合}\end{array}}\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathrm{x}}_Q)\\ \mathrm{Z}& =\sum _{\mathrm{x}}\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathrm{x}}_Q)\end{array}\text{\hspace{1em}(14.16)}$$
其中，${\sum }_{\mathrm{x}}$不是从$x_1$到$x_n$求和，而是${\sum }_{\begin{array}{c}(x_1,x_2,\cdots ,x_n)\\ \text{的各种取值组合}\end{array}}$。

对【西瓜书式(14.3)】同样处理，就可到了${\mathrm{Z}}^{\ast }$的式子。

MRF中团是子图，若两个子图没有公共结点，则它俩是“分离”的，它俩被谁分离呢？【西瓜书图14.3】所示，$C$是$A$和$B$的分离集。

MRF的“三性”：

（1） 全局马尔可夫性：即在以分离集为条件时，被分离的集是独立的，如，【西瓜书图14.3】中有此情况，记为：${\mathrm{x}}_A\perp {\mathrm{x}}_B|{\mathrm{x}}_C$，【西瓜书式(14.7)】在简单情况下进行了验证。

（2） 局部马尔可夫性：对于MRF中的任意结点$v$，将它拎起来，以其为根，形成一棵“树”（之所以带引号，是由于不是真正的树，如，可能有横向的或跨层的连接）。

如图图14.5 局部马尔可夫性所示，该“树”分为三部分，其中$A$与$B$被$C$分离：

$A$：根$v$结点。
$C$：第一层$n(v)$，称为$v$的邻接。
$B$：其余部分，即 V ∖ ( { v } ∪ n ( v ) ) V\setminus (\{v\}\cup n(v)) V∖({v}∪n(v))。

则由全局马尔可夫性，有：${\mathrm{x}}_A\perp {\mathrm{x}}_B|{\mathrm{x}}_C$，即： x v ⊥ x V ∖ ( { v } ∪ n ( v ) )   ∣   x n ( v ) \boldsymbol{\mathrm{x}}_v\perp \boldsymbol{\mathrm{x}}_{V\setminus (\{v\}\cup n(v))}\,|\,\boldsymbol{\mathrm{x}}_{n(v)} xv​⊥xV∖({v}∪n(v))​∣xn(v)​。

（3） 成对马尔可夫性：设想将MRF图放入水中，将不相连的两点$u,v$拎出水面，如图14.6 所示：

则由全局马尔可夫性，有： x u ⊥ x v   ∣   x V ∖ { u , v } \boldsymbol{\mathrm{x}}_u\perp \boldsymbol{\mathrm{x}}_v\,|\,\boldsymbol{\mathrm{x}}_{V\setminus \{u,v\}} xu​⊥xv​∣xV∖{u,v}​。

再考虑如何设计团$Q$的势函数${\psi }_Q({\mathrm{x}}_Q)$。

i. 先看团的能量：

• 规模的难度（点）：质点越多，能量越大，因此，团的能量函数应对团上的点进行累加。
• 成团的难度（边）：团内任意一对质点相互作用，产生能量（或正或负的），因此，团的能量函数应对团上“点对”的作用进行累加。 注意：“点对”在团中是连接（团内是全连接的）。
• 还要考虑实际问题的偏好，即： 对不同的点、不同的“点对”赋予不同的权重。

由此可用实值函数$H_Q({\mathrm{x}}_Q)$【西瓜书式(14.9)】表示团的能量，其中，第一个和号反映团的“点对”的能量，第二个和号反映团的点的能量。 团的能量体现了团形成的难度：规模越大，联合出现的概率越小。

ii. 由MRF模型的假设所定义的【西瓜书式(14.2)】和【西瓜书式(14.3)】知，应以位势（势）来描述团的概率，即团的势正比例于团的变量联合出现的概率，再由i. 知，团的势与团的能量应成“反比”关系，因此，可定义团上的能量为负对数位势。
$$\begin{array}{r}{H}_Q({\mathrm{x}}_Q)=-\ln {\psi }_Q({\mathrm{x}}_Q)\end{array}\text{\hspace{1em}(14.18)}$$
即
$$\begin{array}{r}{\psi }_Q({\mathrm{x}}_Q)={\mathrm{e}}^{-H_Q({\mathrm{x}}_Q)}\end{array}\text{\hspace{1em}(14.19)}$$
注1：“反比”关系参见10.10 度量学习图10.2 至图10.5 的讨论。
注2：这里涉及“团”的三个概念的关系：能量，位势和概率。

综上，知道了MRF的图，就可以做图的团（或极大团）分解；再在团上定义势函数后，就可以利用【西瓜书式(14.2)】或【西瓜书式(14.3)】求出$P(\mathrm{x})$，求出$P(\mathrm{x})$后就可以认为求出了$\mathrm{x}$，因为，一旦需要$\mathrm{x}$的具体值，即可以通过仿真（采样）生成，这即是“生成式模型”，即求联合分布$P(\mathrm{x})$， 在13.1 生成式方法详解，我们讨论了基于“生成式模型”求参数的生成式方法，而“判别式模型”（如判别类别等），则求条件分布$P(y|\mathrm{x})$。 马尔可夫随机场为“生成式模型”，条件随机场为“判别式模型”。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：14.1 隐马尔可夫模型HMM（状态变量（隐的）、观测变量（可见））
下一篇：14.3 学习与推断之变量消去法（“边际化”，“m化”逐步消元）