斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归
2023-09-27 14:27:22 时间
版权声明：本文为博主原创文章。未经博主同意不得转载。 https://blog.csdn.net/gshengod/article/details/29368665
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.拟合问题
这节课首先讲到了一个我们常常遇到的问题。欠拟合（underfitting）以及过拟合（overfitting）。当中过拟合是最常见的。这个问题，来源于我们一个特征值的权重过于突出，就会造成过拟合。
比方说我们有一个特征值X。
就是easy造成欠拟合，由于这个结论是一条直线。
可是，当我们把x平方，
。这个式子就会得到比較好的拟合。
可是当我们把x三次方。四次方。。。
都加上，就会出现过拟合。
这三种情况分别相应下图的左1。右1，下。
2.局部权重回归（linear regression）
上一节讲了回归问题。
是通过所有数据集拟合出每一个特征值相应的參数。在linear regression中，我们预測一个x它所相应的y。我们仅仅要找到这个x周边的数值，拟合一条直线出来，就能够了。
这里涉及到怎样找到x周围的数值。这就涉及到一个截取近似数值的问题。Andrew使用的是一个相似于高斯公式变形的方法
。
。3.最小二乘法
在讲logical regression之前，Andrew还特意推导了一下为什么我们用最小二乘法来做推断。用到了中心极限定律。
设噪声符合高斯分布，然后在log下推导。推出了用最小二乘法是推断预測结果的形式。
4.逻辑回归（logical regression）
首先讲了为什么要用sigmoid函数，把离散的数据变为线性的。
之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每一个參数。
sigmoid函数：
相关文章
- 【机器学习】聚类算法：ISODATA算法
- 【机器学习】【数字信号处理】矢量量化（Vector Quantization）
- 开发者入门必读：最值得看的十大机器学习公开课
- 机器学习---朴素贝叶斯与逻辑回归的区别（Machine Learning Naive Bayes Logistic Regression Difference）
- 未来网络战如何打？智能机器是黑客的克星吗？
- linux同一台机器安装两台nginx
- A.机器学习算法入门教程（一）: 基于逻辑回归的分类预测
- 机器学习-正则化+回归与分类辨析
- 机器学习：逻辑回归预测癌症数据
- TensorFlow机器学习实战指南
- 【机器学习PAI实践二】人口普查统计
- （转）从最大似然估计开始，你需要打下的机器学习基石
- “60后”沃尔玛的潮范儿：如何用机器学习技术提升客户体验？
- 想知道自己的机器上有几根物理内存条？不拆机