*有了前一节的性能检验的理论，我们就可以讨论一些具体的性能检验方法，包括：

• 二项检验
• $t$检验
• 似然比检验*

具体的性能检验方法

二项检验*

本小节更正了【西瓜书】相关内容，请仔细看。
以前述的两种检验方法（临界值法、p值法）为检验的“框架”，应用这个“框架”我们讨论二项检验$H_0:ϵ={ϵ}_0$。

以错误率$ϵ$作为性能度量。 设学习器的错误率（学习器的泛化性能仅与学习器相关，即它是关于样本变量的常数 ）为$ϵ$，则正确率为$1-ϵ$，
由伯努利试验知，学习器对$m$个样本的预测中有$i$个出错的概率为
$$\begin{array}{r}P(i;ϵ)=\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}^i(1-ϵ{)}^{m-i}i=0,1,2,\cdots ,m\end{array}\text{\hspace{1em}(2)}$$
设学习器在测试集中的表现为：$m$个测试样本中有$m^{\prime }$个被错误地分类，即
$$\begin{array}{r}\widehat{ϵ}=\frac{m^{\prime }}{m}\end{array}\text{\hspace{1em}(3)}$$

由式(2)、式(3)知，在$ϵ$的条件下发生$\widehat{ϵ}$的概率为$ϵ$的函数
$$\begin{array}{r}f(ϵ)=P(\widehat{ϵ};ϵ)=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}m}\right){ϵ}^{\widehat{ϵ}m}(1-ϵ{)}^{m-\widehat{ϵ}m}\end{array}\text{\hspace{1em}(4)}$$
对其求导，有
$$\begin{array}{r}\frac{\partial f(ϵ)}{\partial ϵ}=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}m}\right){ϵ}^{\widehat{ϵ}m-1}(1-ϵ{)}^{m-\widehat{ϵ}m-1}m(\widehat{ϵ}-ϵ)\end{array}\text{\hspace{1em}(5)}$$
由式(5)中的$(\widehat{ϵ}-ϵ)$知，函数$f(ϵ)$从$f(0)=0$单调递增到最大值$f(\widehat{ϵ})$然后单调下降到$f(1)=0$，这种趋势像“正态分布”。

给定常数$（{ϵ}_0<\frac{1}{2}）$，由式(2)有
$$\begin{array}{r}P(i;ϵ={ϵ}_0)=\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}_0^i(1-{ϵ}_0{)}^{m-i}i=0,1,2,\cdots ,m\end{array}\text{\hspace{1em}(6)}$$
$P(i;ϵ={ϵ}_0)$是关于$i$的函数，但不是连续的。 不能用上述求导方法来判断单调性，观察其特点，我们作比率
$$\begin{array}{rl}\frac{P(i+1;ϵ={ϵ}_0)}{P(i;ϵ={ϵ}_0)}& =\frac{m-i}{i+1}\times \frac{{ϵ}_0}{1-{ϵ}_0}\\ & =\frac{1-{ϵ}^{\prime }}{{ϵ}^{\prime }+1/m}\times \frac{{ϵ}_0}{1-{ϵ}_0},({ϵ}^{\prime }=\frac{i}{m})\end{array}\text{\hspace{1em}(7)}$$
式(7)分为两种情况：
当${ϵ}^{\prime }<{ϵ}_0-\frac{1}{m}$时：
$$\begin{array}{rl}\frac{P(i+1;ϵ={ϵ}_0)}{P(i;ϵ={ϵ}_0)}& >\frac{1-{ϵ}_0+1/m}{{ϵ}_0}\times \frac{{ϵ}_0}{1-{ϵ}_0}\\ & >\frac{1-{ϵ}_0}{{ϵ}_0}\times \frac{{ϵ}_0}{1-{ϵ}_0}=1\end{array}\text{\hspace{1em}(8)}$$
当${ϵ}^{\prime }>{ϵ}_0$时：
$$\begin{array}{rl}\frac{P(i+1;ϵ={ϵ}_0)}{P(i;ϵ={ϵ}_0)}& <\frac{1-{ϵ}^{\prime }}{{ϵ}^{\prime }+1/m}\times \frac{{ϵ}^{\prime }}{1-{ϵ}^{\prime }}\\ & <\frac{1-{ϵ}^{\prime }}{{ϵ}^{\prime }}\times \frac{{ϵ}^{\prime }}{1-{ϵ}^{\prime }}=1\end{array}\text{\hspace{1em}(9)}$$
由${ϵ}^{\prime }=\frac{i}{m}$，将式(8)、式(9)转化为由$i$表达，即
$$\begin{array}{r}\frac{P(i+1;ϵ={ϵ}_0)}{P(i;ϵ={ϵ}_0)}\{\begin{array}{l}>1,(\text{当}i<[m{ϵ}_0-1])\\ <1,(\text{当}i>[m{ϵ}_0])\end{array}\end{array}\text{\hspace{1em}(10)}$$
由式(10)知，$P(i;ϵ={ϵ}_0)$也具有像“正态分布”的两侧增减性质：
先升至$P([m{ϵ}_0];ϵ={ϵ}_0)$再降，这即是【西瓜书图2.6】所示。

式(10)揭示$P(i;ϵ={ϵ}_0)$具有“尾部”性质，给定显著水平$\alpha$（小概率的阈值），可取
$$\begin{array}{r}{k}^{\ast }=\underset{k}{\min }\sum _{i=k}^{m}P(i;ϵ={ϵ}_0)<\alpha \end{array}\text{\hspace{1em}(11)}$$
取$\overline{ϵ}$满足$m\overline{ϵ}+1=k^{\ast }$，式(11)转化为
$$\begin{array}{r}\overline{ϵ}=\underset{{ϵ}^{\prime }}{\min }\sum _{i={ϵ}^{\prime }m+1}^m\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}_0^i(1-{ϵ}_0{)}^{m-i}<\alpha \end{array}\text{\hspace{1em}(12)}$$
式(12)即为【西瓜书式(1.27)】。

现在，我们考察在条件$ϵ={ϵ}_0$下，事件$\widehat{ϵ}>\overline{ϵ}$发生的概率
$$\begin{array}{rl}P(\widehat{ϵ}>\overline{ϵ};ϵ={ϵ}_0)& =P(\frac{m^{\prime }}{m}>\overline{ϵ};ϵ={ϵ}_0)\\ & =P(m^{\prime }>m\overline{ϵ};ϵ={ϵ}_0)\\ & =P((m\overline{ϵ}+1)\cup (m\overline{ϵ}+2)\cup \cdots \cup (m);ϵ={ϵ}_0)\\ & =\sum _{i=k^{\ast }}^{m}P(i;ϵ={ϵ}_0)\\ & <\alpha \end{array}\text{\hspace{1em}(13)}$$
由此即可得到二项检验的临界值法，其步骤：

（1）提出原假设$H_0:ϵ={ϵ}_0$，（${ϵ}_0<\frac{1}{2}$为常数）。

（2）确定显示水平$\alpha$（小概率的阈值），将$\alpha ,{ϵ}_0$代入式(12)计算临界值$\overline{ϵ}$。

（3）试验：学习器在测试集中进行试验（测试），统计得到$m^{\prime }$，计算$\widehat{ϵ}=\frac{m^{\prime }}{m}$。

（4）作出判断：若$\widehat{ϵ}>\overline{ϵ}$，则由式(13)说明小概率事件发生了，应拒绝原假设$H_0$，接受备选假设$H_1$；否则，接受原假设$H_0$。

$t$检验

由统计学知识知【西瓜书式(2.30)】定义的统计量${\tau }_t$服从$t$分布，如【西瓜书图(2.7)】所示，类似式(1)得到双测
“尾部”为$[t_{\alpha /2},+\infty )$和$(-\infty ,-t_{\alpha /2}]$，单侧时为$[t_{\alpha },+\infty )$。 通常编制双侧情况下$\alpha$与$t_{\alpha /2}$的对应关系表，那么，对于单侧，则令${\alpha }_1=\alpha /2$转化为双侧。

检验步骤：

（1）提出原假设（这里$H_0$的意思是：可用测试的平均性能作为泛化性能。 实际上我们就是这样做的，这里就是要检验这样做的合理性），$H_0:\mu ={ϵ}_0$，（${ϵ}_0$为常数），其中，$\mu =ϵ$为平均测试错误率，${ϵ}_0$为泛化错误率。

（2）确定显示水平下的临界值，即给定显示水平$\alpha$，由$\alpha$及$k$查【西瓜书表2.3】得到临界值$t_{\alpha /2,k-1}$。

（3）根据学习器的测试数据，计算统计量${\tau }_t$的实际值$\widehat{{\tau }_t}$。

（4）比较$\widehat{{\tau }_t}$与临界值$t_{\alpha /2,k-1}$，按“临尾而拒”的规则来判断是否接受原假设。

从上述我们可以看出，先提出需要检验的假设（即原假设），再根据该假设及统计学知识设计合适的统计量（如，上述的统计量${\tau }_t$），后续步骤则是按部就班的。

似然比检验*

本小节我们利用似然函数及极大似然法MLE相关知识构造出一种检验方法。这小节需要较多的统计学知识，有一定的难度。

1.参数模型

设参数模型：$\theta =\theta (\eta )$，对于样本集 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​，其似然函数是关于$\theta$的函数
$$\begin{array}{r}L(\theta )=\prod _{i=1}^{n}p(x_i;\theta )\end{array}\text{\hspace{1em}(14)}$$
$\theta$的极大似然估计MLE为
$$\begin{array}{r}\hat{\theta }=\arg \underset{\theta }{\max }L(\theta )\end{array}\text{\hspace{1em}(15)}$$
作似然比
$$\begin{array}{r}R(\theta )=\frac{L(\theta )}{L(\hat{\theta })}\end{array}\text{\hspace{1em}(16)}$$
现在讨论对假设$H_0:\theta ={\theta }_0$的检验。

（1）在参数模型中，MLE可以“代入”：
若参数$\eta$的MLE为$\hat{\eta }$，则该参数的函数$\theta =\theta (\eta )$的MLE为$\hat{\theta }=\theta (\hat{\eta })$。

(2)Milks定理表明：在适当条件（略）下，当样本数趋于无穷多时，有
$$\begin{array}{r}-2\log (R(\theta ))\text{依分布收敛于}{\chi }^2\end{array}\text{\hspace{1em}(17)}$$
其中，${\chi }^2$的自由度常取参数$\theta$的维数$c$。

基于结论式(17)，对${\chi }^2$图象进行依$\alpha$截尾处理（保留置信范围$(1-\alpha )$），可解不等式得到参数$\theta (\eta )$的置信域
{ θ 0 ∣ R ( θ 0 ) ⩾ r α } \begin{align} \{\theta_0 |R({\theta_0} )\geqslant r_{\alpha } \} \tag{18} \end{align} {θ0​∣R(θ0​)⩾rα​}​(18)​
其中，$r_{\alpha }$与显著水平$\alpha$相关，为简单起见，我们取为常数$c$（参数$\theta$的维数）。 即：如果$L({\eta }_0)$比$L(\hat{\eta })$“小得多”（即$R({\theta }_0)<c$），则拒绝原假设$H_0:\theta ={\theta }_0$，反之，则接受原假设。

2.非参数模型

参考上述参数模型中的情形，我们构造出非参数模型中的“假设$H_0:\theta ={\theta }_0$”的检验。

设非参数模型（因$F$不是参数，故为非参数模型，又$F$是函数，故我们写为泛函的中括号表达$\theta [F]$）：$\theta =\theta [F]$，其中，$F$随机变量$X$的累计分布函数（亦称分布函数）
$$\begin{array}{r}F(x)=P(X⩽x)\end{array}\text{\hspace{1em}(19)}$$
取$n$个样本$X_j,(j=1,2,\cdots ,n)$，定义其经验似然函数为
$$\begin{array}{rl}{L}_n[F]& =\prod _{j=1}^{n}P(X_j)\end{array}\text{\hspace{1em}(20)}$$
设取出的样本（严格来讲是独立同分布随机变量各进行一次采样）。$X_j,(j=1,2,\cdots ,n)$中只有$K$个不相同的值 { z 1 , z 2 , ⋯   , z K } \{z_1,z_2,\cdots,z_K\} {z1​,z2​,⋯,zK​}，各值对应的概率分别为 { P 1 , P 2 , ⋯   , P K } \{P_1,P_2,\cdots,P_K\} {P1​,P2​,⋯,PK​}，各值出现的次数分别为 { n 1 , n 2 , ⋯   , n K } \{n_1,n_2,\cdots,n_K\} {n1​,n2​,⋯,nK​}，则对式(20)中进行“合并同类项”处理，有
$$\begin{array}{rl}{L}_n[F]& =\prod _{i=1}^K{P}_i^{n_i}\end{array}\text{\hspace{1em}(21)}$$
样本 { z 1 , z 2 , ⋯   , z K } \{ z_1,z_2,\cdots,z_K\} {z1​,z2​,⋯,zK​}对应的频率为 { n 1 n , n 2 n , ⋯   , n K n } \{ \frac{n_1}{n},\frac{n_2}{n},\cdots,\frac{n_K}{n}\} {nn1​​,nn2​​,⋯,nnK​​}，对式(21)以频率代替概率，记
$$\begin{array}{rl}{L}_n(\hat{F})& =\prod _{i=1}^K(\frac{n_i}{n}{)}^{n_i}\end{array}\text{\hspace{1em}(22)}$$
作经验似然比
$$\begin{array}{rl}{R}_n[F]& =\frac{L_n[F]}{L_n(\hat{F})}\\ & =\prod _{i=1}^K{\left(\frac{n{P}_i}{n_i}\right)}^{n_i}\\ & =\prod _{i=1}^K{\left(\frac{P_i}{{\hat{P}}_i}\right)}^{n_i}\end{array}\text{\hspace{1em}(23)(23-1)}$$
其中，${\hat{P}}_i=\frac{n_i}{n}$为$z_i$出现的频率。

由于样本值$z_i$对应的概率为$P_i$，出现次数为$n_i$，将概率$P_i$分摊到取$z_i$值的样本（ { X j ∣ X j = n i } \{X_j|X_j=n_i\} {Xj​∣Xj​=ni​}）中，$X_j$分摊$w_j$，则有
$$\begin{array}{r}{P}_i=\sum _{j:X_j=z_i}{w}_j,i=1,2,\cdots ,K\\ n{P}_i=\sum _{j:X_j=z_i}n{w}_j,i=1,2,\cdots ,K\\ \sum _{j:X_j=z_i}\frac{n{P}_i}{n_i}=\sum _{j:X_j=z_i}n{w}_j,i=1,2,\cdots ,K\end{array}\text{\hspace{1em}(24)}$$
其中，左边为对$n{P}_i$进行等分。

因为：“和”一定的若干个数，当且仅当这些数等分“和”时，“积”最大，因式(24)左侧为已知的常数，故有
$$\begin{array}{rl}\max \prod _{j:X_j=z_i}n{w}_j& =\prod _{j:X_j=z_i}\frac{n{P}_i}{n_i}\\ & ={\left(\frac{n{P}_i}{n_i}\right)}^{n_i},i=1,2,\cdots ,K\end{array}\text{\hspace{1em}(25)}$$
将式(25)中的$k$个式子连乘起来，有
$$\begin{array}{rl}\max \prod _{i=1}^{n}n{w}_i& =\prod _{i=1}^K\left(\max \prod _{j:X_j=z_i}n{w}_j\right)\\ & =\prod _{i=1}^K{\left(\frac{n{P}_i}{n_i}\right)}^{n_i}\\ & =R_n[F]\text{（由式(23)）}\end{array}\text{\hspace{1em}(26)}$$
类比在参数模型时的情况式(17)，这时同样有结论（通常基于式(26)得截面经验似然比的结论，我们不作讨论）：在适当条件下，当样本数趋于无穷多时，有
$$\begin{array}{r}-2\log (R_n[F])\text{依分布收敛于}{\chi }^2\end{array}\text{\hspace{1em}(27)}$$
该结论式(27)即可用于统计检验。

对于二分类问题，我们做个转换:
$$\begin{array}{rl}-2\log (R_n[F])& =2\log (R_n[F]{)}^{-1}\\ & =2\log {\left(\prod _{i=1}^2{\left(\frac{P_i}{{\hat{P}}_i}\right)}^{n_i}\right)}^{-1}\\ & =2\log \left({\left(\frac{{\hat{P}}_1}{P_1}\right)}^{n_1}{\left(\frac{{\hat{P}}_2}{P_2}\right)}^{n_2}\right)\\ & =2\left(n_1\log \frac{{\hat{P}}_1}{P_1}+n_2\log \frac{{\hat{P}}_2}{P_2}\right)\end{array}\text{\hspace{1em}(28)}$$
其中，频率为${\hat{P}}_1=\frac{n_1}{n}$，${\hat{P}}_2=\frac{n_2}{n}$。

式(28)作为二分类问题时的似然比统计量（LRS）反映了分布$({\hat{P}}_1,{\hat{P}}_2)$与分布$(P_1,P_2)$的差别，二者越接近LRS越大，当训练中需要判断二者是否接近时，通常设置较大的阈值（如，0.99）作为判断条件。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：2.6 机器学习中的性能好，不是指“快”而是指“准”
下一篇：2.8 学习器的比较方法