【机器学习】采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?(面试回答)
2023-09-14 09:13:09 时间
采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?
(1)概念
EM算法称为期望最大化算法,分为两步,求期望和求极大值。
(2)基本思想
首先根据己经给出的观测数据,估计出模型参数的值;然后再依据上一步估计出的参数值估计缺失数据的值,再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计,然后反复迭代,直至最后收敛,迭代结束。
EM的求解原理:在求解一个含有隐变量的概率模型时,目标是极大化观测数据关于参数的对数似然,而其中极大化的主要困难是还有未观测数据并有包含和的对数。EM算法就是通过迭代,不断求解下界极大化,而逐步求解对数似然函数极大化。
(3)应用
高斯混合模型(GMM)、k-means聚类、隐式马尔科夫算法(HMM)、LDA主题模型的变分推断
(4)不用牛顿法和梯度下降法的原因
由于求和的项数随着隐变量的数目指数上升,会给梯度计算带来麻烦.EM算法是一种非梯度化优化算法.
相关文章
- 机器学习十大经典算法之K-Means聚类算法
- 机器学习算法——线性回归(超级详细且通俗)
- 17个机器学习的常用算法!
- 机器学习算法常用指标总结
- 关于机器学习模型的可解释性算法!
- 机器学习算法:UMAP 深入理解
- A.机器学习入门算法(三):K近邻(k-nearest neighbors),鸢尾花KNN分类,马绞痛数据--kNN数据预处理+kNN分类pipeline
- A.机器学习入门算法(六)基于天气数据集的XGBoost分类预测
- 【干货书】时间序列算法导论:使用Python实现机器学习和深度学习技术
- 图解最常用的 10 个机器学习算法!
- AI 黑箱难题怎么破?基于神经网络模型的算法使机器学习透明化
- 反向传播算法最全解读,机器学习进阶必看!
- 随机机器学习算法需要试验多少次,才足以客观有效的反映模型性能?