机器学习:欠拟合过拟合岭回归预测波士顿房价
2023-09-27 14:24:15 时间
欠拟合过拟合
欠拟合:
-训练集表现不好,而且训练集以外的数据也表现不好
-原因:
-数据特征太少
-交叉验证:训练集结果表现不行
-解决:增加数据特征
过拟合:
-训练集表现很好,但在训练集以外的数据集表现不好
-原因:
-数据特征过多
-测试集表现不行
-解决:
-进行特征选择,消除关联性大的特征
-交叉验证
-正则化
线性关系
非线性关系
特征选择
-过滤式:低方差特征
-嵌入式:正则化,决策树,神经网络
L2正则化
作用:可以使得W的每个元素都很小,都接近于0
优点:越小的参数说明模型越简单,越简单的模型则越不容易产生过拟合
回归:解决过拟合的方式
线性回归 容易出现过拟合,为了把训练数据表现的更好
L2正则化 Ridge岭回归,带有正则化的线性回归,解决过拟合
岭回归
sklearn.linear_model.Ridge
alpha 正则化力度 力度越大,模型越简单, 取值0~1 1~10
coef_ 回归系数
回归得到的回归系数更符合实际,更可靠,
另外,能让估计参数的波动范围变小,变得更稳定,
在存在病态数据偏多的研究中有较大的实用价值
代码示例
综合 线性回归,梯度下降,岭回归
# -*- coding: utf-8 -*-
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
# 加载数据
boston = load_boston()
# 训练集,测试集拆分
X_train, X_test, y_train, y_test = train_test_split(
boston.data, boston.target, test_size=0.25)
# 数据标准化处理
# 特征值 标准化
std_x = StandardScaler()
X_train = std_x.fit_transform(X_train)
X_test = std_x.transform(X_test)
# 目标值 标准化
std_y = StandardScaler()
y_train = std_y.fit_transform(y_train.reshape(-1, 1))
y_test = std_y.transform(y_test.reshape(-1, 1))
# 正规方程
lr = LinearRegression()
lr.fit(X_train, y_train)
print(lr.coef_)
y_lr_predict = std_y.inverse_transform(lr.predict(X_test))
# 梯度下降
sgd = SGDRegressor()
sgd.fit(X_train, y_train)
print(sgd.coef_)
y_sgd_predict = std_y.inverse_transform(sgd.predict(X_test))
# 岭回归
ridge = Ridge()
ridge.fit(X_train, y_train)
print(ridge.coef_)
y_ridge_predict = std_y.inverse_transform(ridge.predict(X_test))
# 均方误差
lr_mse = mean_squared_error(std_y.inverse_transform(y_test), y_lr_predict)
sgd_mse = mean_squared_error(std_y.inverse_transform(y_test), y_sgd_predict)
ridge_mse = mean_squared_error(std_y.inverse_transform(y_test), y_ridge_predict)
print(lr_mse)
print(sgd_mse)
print(ridge_mse)
"""
20.887918065953176
21.059487199230684
20.87817117552608
"""
相关文章
- 机器学习 基本概念,常用经典模型
- 机器学习数学笔记|微积分梯度jensen不等式
- 机器学习模型评估
- 深度学习机器学习笔试面试知识——正则化
- 机器学习笔记之狄利克雷过程(六)预测任务求解
- 机器学习笔记之狄利克雷过程(五)——基于狄利克雷过程的预测任务
- 机器学习笔记之生成模型综述(三)生成模型的表示、推断、学习任务
- 机器学习笔记之高斯过程(四)高斯过程回归——基于函数空间角度的预测任务求解
- 机器学习笔记之线性分类——线性判别分析(一)模型构建思路
- 机器学习笔记之指数族分布——最大熵原理与softmax激活函数的关系
- 机器学习性能改善备忘单:32个帮你做出更好预测模型的技巧和窍门
- Andrew Ng机器学习公开课笔记 -- 朴素贝叶斯算法
- 《机器学习与R语言(原书第2版)》一2.3 探索和理解数据
- 机器学习——逻辑回归、肿瘤预测案例(恶性乳腺)
- 机器学习使用sklearn进行模型训练、预测和评价
- Python相关机器学习‘武器库’
- 机器学习是万能的吗?AI落地有哪些先决条件?
- 《机器学习与数据科学(基于R的统计学习方法)》——第1章 机器学习综述
- 《Python机器学习——预测分析核心算法》——1.5 构建预测模型的流程
- 《Python机器学习——预测分析核心算法》——2.1 “解剖”一个新问题
- 《Python机器学习——预测分析核心算法》——2.4 基于因素变量的实数值预测:鲍鱼的年龄
- 《Python机器学习——预测分析核心算法》——小结
- Python 机器学习之使用 AUTO ARIMA + PROPHET + LightGBM 进行时间序列预测
- 自动驾驶轨迹预测20年发展全面回顾(物理方法/机器学习/深度学习/强化学习)
- 机器学习简史及发展趋势预测
- Rust机器学习之tch-rs
- Rust机器学习之Plotters