机器学习之——归一化

之前我们讨论了几个机器学习的模型，线性回归模型(Linear Regression)和逻辑回归模型(Logistic Regression)，这一次我们讨论一下关于模型数据拟合的问题以及归一化方法(Regularization)。 过拟合问题(The Problem of Overfitting) 如果我们有非常非常多的特征，我们通过学习得到的假设可能会非常适应训练集（代价函数的值可能

之前我们讨论了几个机器学习的模型，线性回归模型(Linear Regression)和逻辑回归模型(Logistic Regression)，这一次我们讨论一下关于模型数据拟合的问题以及归一化方法(Regularization)。

过拟合问题(The Problem of Overfitting)

如果我们有非常非常多的特征，我们通过学习得到的假设可能会非常适应训练集（代价函数的值可能几乎为0），但是这样的假设能不能推广使用到新的数据呢？下面有一些例子：

从左至右来看，第一个模型是一个线性模型，拟合度很低，也称作低度拟合(Underfitting)，不能很好地适应我们的训练集；第三个模型，是一个四次方的模型，属于过度拟合，虽然能够很好地适应我们的训练集数据，但是在新输入变量进行预测的时候，可能效果会很差；而第二个模型，似乎是最合适的模型。

在分类问题(Classification)中，也存在这样的问题：

最后一个模型就是过度拟合的情况。

那么问题出现了，如果我们发现了这样过度拟合的情况，如何处理？

思考后，有两种方式：

1，丢弃一些不能帮助我们正确预测的特征。

可能是手工选择保留哪些特征 或者使用一些模型选择的算法来帮忙（例如 PCA） 2，归一化

保留所有的特征，但是减少参数的大小(Magnitude)

归一化代价函数(Regularization Cost Function)

上面的回归问题中，如果我们使用的模型是：

我们决定要减小ø3和ø4的大小，我们需要做的就是修改代价函数，在其中ø3和ø4的身上，设置一些惩罚(Punishment)。这样做的话，我们在尝试最小化代价时，也需要将这个惩罚代入考虑中，并最终导致选择小一些的ø3和ø4 。 修改之后的代价函数如下：

这样，通过代价函数选择出的ø3和ø4对整个预测结果的影响就比之前小了很多。

加入我们有非常多的特征，我们并不知道其中哪些特征是我们要惩罚的，我们将对所有特征进行惩罚，并且让代价函数最优化的方法来选择惩罚的程度。这样的结果，就得到了一个较为简单的能够防止过度拟合问题的假设：

其中λ又称为归一化参数(Regularization Parameter)。

这里注意：根据惯例，我们不会对ø0进行惩罚。

经过归一化处理的模型与原模型的对比可能如下图：

如果选择的归一化参数λ过大，就会把所有参数都最小化了，这样导致模型hø(x)=ø0也就是上图中的红色直线的情况，数据就属于低度拟合。

下回我们讨论，线性逻辑模型的归一化和逻辑回归模型的归一化。

归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。 数据归一化的目的是为了把不同来源的数据统一到一个参考系下，这样比较起来才有意义。 数据归一化，很重要。比如在用SVM分类时，数据尺度不统一对分类准确率影响很大。归一化一般将数据规整到一个小范围之间，如[0,
之前的博客里，跟大家分享了归一化(Regularization)的概念：保留所有的特征，但是减小参数的大小(Magnitude)。 这一次捏，跟大家讨论讨论，归一化线性回归模型和归一化逻辑回归模型。 首先跟大家明确一件事，为什么有些机器学习的模型需要用到归一化这个方法呢？答案有两条：
python机器学习数据建模与分析——数据预测与预测建模 机器学习的预测建模在多个领域都具有重要的应用价值，包括个性化推荐、商品搜索、自动驾驶、人脸识别等。本篇文章将带领大家了解什么是预测建模
python机器学习——朴素贝叶斯算法笔记详细记录 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。
python机器学习课程——决策树全网最详解超详细笔记附代码 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。决策树算法构造决策