《深度学习导论及案例分析》一2.8条件随机场

####本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第2章，第2.8节，作者李玉鑑 张婷，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

从概率图模型的角度看，条件随机场（Conditional Random Field，CRF）是在给定一组输入随机变量或观测变量X的条件下，另一组输出随机变量或目标变量Y的条件概率分布模型，其特点是假定目标变量集构成马尔可夫随机场。所以，条件随机场实际上可以看作是一个通过观测变量集X和目标变量集Y定义的无向图，或者说是一个在给定X时，表达Y的概率分布结构的马尔可夫网络，但与其把它看作是对联合概率分布P（Y，X）的刻画，还不如将它看作是对条件概率分布P（YX）的刻画。P（YX）称为条件随机场，如果表达P（Y，X）的马尔可夫随机场对任意节点Y∈Y，满足下面的条件马尔可夫性质，

P（YX，Y-{Y}）=P（YX，Nb（Y）） （2.85）

根据HammersleyClifford定理，条件随机场的条件概率分布P（YX）可以通过一组极大团DiX的因子ψi（Di）（i=1，…，l）表达如下：

P（YX）=1Z（X）P（Y，X）

P（Y，X）=∏li=1ψi（Di）

Z（X）=∑Y∈val（Y）P（Y，X）（2.86）

设X={X1，…，Xn}和Y={Y1，…，Yn}，条件概率分布P（YX）称为线性链条件随机场，如果满足下面的线性条件马尔可夫性质：

P（YiX，Y1，…，Yi-1，Yi+1，…，Yn）=P（YiX，Yi-1，Yi+1）（2.87）

条件随机场虽然在理论上是一个无向图，但是它定义了Y关于X的一个条件分布，因此又可以将其视为一个部分有向图。例如，图2.12a所示的无向图表达了一个常用的线性结构条件随机场，称为线性链条件随机场（linear chain conditional random field），而这个条件随机场也可以视为图2.12b所示的有向图，因为图2.12a的无向图和图2.12b的部分有向图在表达条件概率分布方面是等价的模型。不过应注意，图2.12c的完全有向图与它们是不等价的。

由于在图2.12a的线性链条件随机场中，所有的极大团是Yi-Yi+1（i=1，…，n-1）和Yi-Xi（i=1，…，n），因此根据HammersleyClifford定理，其概率分布具有如下形式：

P（YX）=1Z（X）P（Y，X）

P（Y，X）=∏n-1i=1ψi（Yi，Yi+1）∏ni=1ψi（Yi，Xi）

Z（X）=∑Y∈val（Y）P（Y，X）（2.88）

此外，线性链条件随机场还可以表达为对数线性模型（log linear model）的参数化形式，在实际应用中更为普遍，如果读者感兴趣，可进一步参阅相关文献［100102］。