Andrew Ng机器学习课程6
Andrew Ng机器学习课程6
说明
在前面跟随者台大机器学习基石课程和机器学习技法课程的设置,对机器学习所涉及到的大部分的知识有了一个较为全面的了解,但是对于没有动手写程序并加以使用的情况,基本上是不可能掌握好的。特别是我的学习进程是突击式的,因此,会很快忘掉,心中只剩下一个基本的纲要,所以后面要通过讲解更为详细的Andrew Ng教授的机器学习课程进行回顾和总结,希望能够抓住它的来龙去脉。所以总结的内容主要是推导的思路,只要能够把握住思路,就能保持长久的记忆。
主要内容
朴素贝叶斯分类器
1. 垃圾邮件特征提取方法
通过垃圾邮件的筛选,介绍了朴素贝叶斯分类器。对于垃圾邮件,建立一个垃圾邮件中经常出现的词的字典,用于将一封邮件通过这个字典转换为特征向量,这个特征向量的长度等于字典中词的个数
2. 朴素贝叶斯假设与朴素贝叶斯分类器
已经得到了特征矢量,我们要构建一个generative model。这里先说明一下先验概率与后验概率的含义:
先验概率是指基于先验知识所得到某一件事情发生或出现的概率,通常采用大数据统计就可以得到先验概率。比如罹患肝癌
(y) 的概率,通过统计医院的资料,可以计算出先验概率p(y) 来。而后验概率则是指当某一件事情已经发生或出现,回推导致这件事情发生的因素的概率。比如某人已经查出罹患肝癌(y) ,而导致肝癌发生的因素有x={酒精、多脂肪、病毒、毒素} ,即后验概率就是指p(x|y) 。
然后再说明一下机器学习中两种不同的model:
discrimination model和generative model, 两者的区别在于对概率密度的建模上:以二分类问题为例,样本特征矢量为
x ,样本标签为y ,y∈{−1,+1}, discrimination model是直接对p(y|x) 进行建模,类似logistic regression,思路就是从已知的样本集(x,y) 中直接学习出给定x ,输出y 为1的概率是多少。等于说是直接构建以x 为输入参数的y 的概率模型。而generative model则是先分别对p(x|y=0) 和p(x|y=1) 进行建模,然后再通过后验概率公式(贝叶斯公式)计算得到:p(y=1|x)=p(x|y=1)×p(y=1)p(x) ,这样就考虑了样本的产生模型p(y=0|x)=p(x|y=0)×p(y=0)p(x) p(y) ,同时除去分母是不影响判断的,所以实际上generative model是对联合概率密度进行的建模p(y,x)=p(x|y)×p(y) 。而对于discrimination model则没有考虑样本的生成模型,或者说是认为样本生成模型是均匀分布的。通常对于generative model要求样本无穷大或尽可能大,而discrimination model则不需要。
为了对
3. 垃圾邮件的朴素贝叶斯分类器
接着对垃圾邮件进行建模,有:
很显然,建立的模型的参数为
通过最大化联合似然函数,可以得到模型参数的最大似然估计,从而构建出如下模型:
选择具有最高后验概率的class作为判定依据。
Ng教授绘制了一种通常的情况用于说明通过典型的generative model :GDA(Gaussian Discrimination Analysis model)方法建立的两类后验概率,生成分类边界实际上与logistic regression的边界一样。这说明了两种模型实际上是有共通之处的,就是上面说过的如果忽略了样本的产生模型
p(y) 两者基本上是类似的。
拉普拉斯平滑
在处理一些还没有出现或发生过的事件
如前面所讲,如果使用最大似然估计,很有可能一些
laplace smoothing的效果就是使在观测值中没有出现的事件的概率估计保持一定的小概率出现,而不是直接认定概率为0。
事件模型
对于上面构建垃圾邮件分类器,实际上丢掉了一些信息,即没有考虑文本的上下文。Naive Bayes采用multi-variable Bernoulli event model可以解决这样的问题。认为邮件是这样产生的:首先根据先验概率
而multinomial event model是一个不同的模型,将具有n个words的email表示为
虽然multi-variable Bernoulli event model与multinomial event model得到的概率模型在公式上表现了相同,但是具体的含义却差别很大,multinomial event model中的
神经网络模型
Ng教授通过两个视频的例子说明了神经网络模型的力量,一个是手写体的识别,另一个是模拟小孩说话声音。都表现出了很好的性能。神经网络是在logistic regression的基础上引入的,采用sigmoid函数作为激活函数。神经网络最大的缺点就是变量太多,导致很容易陷入局部最优。神经网络的部分,可以参看我的其他博客文章神经网络模型的总结,有很深入的介绍。
支持向量机的开篇
Ng教授对支撑向量机(support vector machine)是从线性可分问题入手的,介绍了怎样的分类边界是好的。对于logistic regression,当
2015-8-23
艺少
相关文章
- 1-吴恩达机器学习Deeplearning.ai课程,监督学习
- 李宏毅课程-机器学习[作业]作业3-食物图片分类
- 机器学习将在游戏开发中的6种应用
- 机器学习概念
- (《机器学习》完整版系列)第4章 线性模型——4.2 划分选择与剪枝(此事“信息量好大”,暗指该事件不平常)
- (《机器学习》完整版系列)附录 ——8、协方差矩阵的特征值
- (《机器学习》完整版系列)第10章 降维与度量学习——10.10 度量学习(将欧氏距离推广成马氏距离)
- (《机器学习》完整版系列)第10章 降维与度量学习——10.5 主成分分析的目标求解(“丢掉不重要属性”是错误的)
- 机器学习笔记之概率图模型(四)基于贝叶斯网络的模型概述
- 机器学习笔记之隐马尔可夫模型(七)总结部分
- 机器学习笔记之支持向量机(四)软间隔SVM
- 想去机器学习初创公司做数据科学家?这里有最常问的40道面试题
- 机器学习——逻辑回归、肿瘤预测案例(恶性乳腺)
- 基于机器学习的用户实体行为分析技术在账号异常检测中的应用
- 《NLTK基础教程——用NLTK和Python库构建机器学习应用》——1.1 为什么要学习NLP
- Python数据处理Tips机器学习英文数据集8种算法应用
- 2023年全球10大必看本科必修课课程,人工智能是世界的未来,所以研究人工智能的概念是必修课(人工智能、机器学习和数据科学方向)
- 《Scala机器学习》一一第1章 探索数据分析
- 《Scala机器学习》一一2.5 数据驱动系统的基本组件
- 【毕业设计_课程设计】基于各种机器学习和深度学习的中文微博情感分析
- 自动预测保险理赔:用具体案例讲解机器学习之特征预处理
- 【吴恩达机器学习】第七周课程精简笔记——支持向量机SVM
- 【吴恩达机器学习】第六周课程精简笔记——模型评估和机器学习系统设计
- 【吴恩达机器学习】第三周课程精简笔记——对数几率回归和正则化
- 机器学习之&&Andrew Ng课程复习--- 聚类——Clustering
- 机器学习课堂笔记20210923——第三次课