机器学习之——归一化
之前我们讨论了几个机器学习的模型,线性回归模型(Linear Regression)和逻辑回归模型(Logistic Regression),这一次我们讨论一下关于模型数据拟合的问题以及归一化方法(Regularization)。
过拟合问题(The Problem of Overfitting)
如果我们有非常非常多的特征,我们通过学习得到的假设可能会非常适应训练集(代价函数的值可能几乎为0),但是这样的假设能不能推广使用到新的数据呢?下面有一些例子:
从左至右来看,第一个模型是一个线性模型,拟合度很低,也称作低度拟合(Underfitting),不能很好地适应我们的训练集;第三个模型,是一个四次方的模型,属于过度拟合,虽然能够很好地适应我们的训练集数据,但是在新输入变量进行预测的时候,可能效果会很差;而第二个模型,似乎是最合适的模型。
在分类问题(Classification)中,也存在这样的问题:
最后一个模型就是过度拟合的情况。
那么问题出现了,如果我们发现了这样过度拟合的情况,如何处理?
思考后,有两种方式:
1,丢弃一些不能帮助我们正确预测的特征。
可能是手工选择保留哪些特征 或者使用一些模型选择的算法来帮忙(例如 PCA) 2,归一化 保留所有的特征,但是减少参数的大小(Magnitude)归一化代价函数(Regularization Cost Function)
上面的回归问题中,如果我们使用的模型是:
我们决定要减小ø3和ø4的大小,我们需要做的就是修改代价函数,在其中ø3和ø4的身上,设置一些惩罚(Punishment)。这样做的话,我们在尝试最小化代价时,也需要将这个惩罚代入考虑中,并最终导致选择小一些的ø3和ø4 。 修改之后的代价函数如下:
这样,通过代价函数选择出的ø3和ø4对整个预测结果的影响就比之前小了很多。
加入我们有非常多的特征,我们并不知道其中哪些特征是我们要惩罚的,我们将对所有特征进行惩罚,并且让代价函数最优化的方法来选择惩罚的程度。这样的结果,就得到了一个较为简单的能够防止过度拟合问题的假设:
其中λ又称为归一化参数(Regularization Parameter)。
这里注意:根据惯例,我们不会对ø0进行惩罚。
经过归一化处理的模型与原模型的对比可能如下图:
如果选择的归一化参数λ过大,就会把所有参数都最小化了,这样导致模型hø(x)=ø0也就是上图中的红色直线的情况,数据就属于低度拟合。
下回我们讨论,线性逻辑模型的归一化和逻辑回归模型的归一化。
归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。 数据归一化的目的是为了把不同来源的数据统一到一个参考系下,这样比较起来才有意义。 数据归一化,很重要。比如在用SVM分类时,数据尺度不统一对分类准确率影响很大。归一化一般将数据规整到一个小范围之间,如[0,
之前的博客里,跟大家分享了归一化(Regularization)的概念:保留所有的特征,但是减小参数的大小(Magnitude)。 这一次捏,跟大家讨论讨论,归一化线性回归模型和归一化逻辑回归模型。 首先跟大家明确一件事,为什么有些机器学习的模型需要用到归一化这个方法呢?答案有两条:
python机器学习数据建模与分析——数据预测与预测建模 机器学习的预测建模在多个领域都具有重要的应用价值,包括个性化推荐、商品搜索、自动驾驶、人脸识别等。本篇文章将带领大家了解什么是预测建模
python机器学习——朴素贝叶斯算法笔记详细记录 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM)。和决策树模型相比,朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论,有着坚实的数学基础,以及稳定的分类效率。同时,NBC模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单。
python机器学习课程——决策树全网最详解超详细笔记附代码 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法,首先对数据进行处理,利用归纳算法生成可读的规则和决策树,然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法最早产生于上世纪60年代,到70年代末。由J Ross Quinlan提出了ID3算法,此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进,对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进,既适合于分类问题,又适合于回归问题。决策树算法构造决策
相关文章
- 快速入门Python机器学习(34)
- 征稿通知丨Pattern Recognition图机器学习踊跃投稿中!
- python归一化函数_机器学习-归一化方法
- 297个机器学习彩图知识点(14)
- 如何定位每一台域机器对应的 IP 是多少
- 代替Git进行机器学习实验管理的工具推荐
- 机器学习算法: AdaBoost 详解
- 机器学习: 可视化反卷积操作
- 【干货书】时间序列算法导论:使用Python实现机器学习和深度学习技术
- 吴恩达近3万人学习的MLOps讲座,官方上线机器之心知识站
- 分布式机器学习中的拜占庭问题
- 机器视觉软件Halcon 21中文版,HALCON2023最新版下载安装教程
- 利用机器学习研究脑卒中早期皮质运动系统的结构-功能关系
- 新闻速读 > 百度在 GitHub 上发布量子机器学习工具包
- 对话AWS副总裁Swami:机器学习正处在Day one,但已无处不在
- 金融云有何特殊?Google机器学习平台如何用于反欺诈?| 新金融科技周刊
- 反向传播算法最全解读,机器学习进阶必看!