zl程序教程

您现在的位置是:首页 >  硬件

当前栏目

机器学习的数学基础 - 信息论

2023-09-11 14:17:24 时间

机器学习的数学基础 - 信息论

 

信息论

信息论本来是通信中的概念,但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3C4.5中是利用信息增益来划分特征而生成一颗决策树的,而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。

 

 

                        

 

联合熵

  

 

条件熵

 

 

 

 

  

相对熵

 

  

互信息

  

 

 

 

最大熵模型