Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression
2023-09-14 08:57:33 时间
这一节主要讲的是如何将Kernel trick 用到 logistic regression上。
从另一个角度来看soft-margin SVM,将其与 logistic regression进行对比,发现可将
SVM看作一个正则化模型:
将SVM看作一个regularize model,是为了更好的延伸到其他模型上。
下面从erro measure的角度来分析二者相似性:
再从binary classfication的角度来比对:做了一个LogReg就相当于做了SVM,那SVM的结果能否用到LogReg上呢?
能否将SVM与LogReg进行融合呢?
先由SVM跑出一个分数,然后引入两个变量将其引入到LogReg:
更具体:
上面得到的是在Z空间的近似解,如果想要得到一个准确解呢?
回想之前能用kernel trick的关键,是因为w能表示成z的线性组合。那能否推广这个结论呢?
用反证法对这个想法进行了证明:任何 L2-regularized都能被kernelized
将kernel用到logistic regression上:
另一个角度看 logistic regression:
参考:http://www.cnblogs.com/xbf9xbf/p/4633775.html
相关文章
- 机器学习笔记(五)---- 决策树
- 机器学习笔记(四)---- 逻辑回归的多分类
- Coursera台大机器学习课程笔记6 -- The VC Dimension
- 机器学习笔记汇总1
- 机器学习笔记 - 机器学习/深度学习实战案例合集
- 机器学习笔记 - 行图和列图
- 机器学习笔记 - Kaggle竞赛 帮助保护大堡礁,棘冠海星目标检测参赛经历
- 机器学习笔记 - 基于pytorch和tensorflow的K折交叉验证
- 机器学习笔记 - 在IdenProf数据集上训练深度残差网络ResNet50
- 机器学习笔记 - 使用机器学习进行鸟类物种分类
- 机器学习笔记 - Siamese Neural Network 孪生神经网络
- 机器学习笔记 - Pytorch要点和实现MNIST分类
- 机器学习笔记 - HaGRID—手势识别图像数据集简介
- 机器学习笔记 - 探索性数据分析(EDA) 入门案例五
- 机器学习笔记 - 确定性与随机机器学习
- 机器学习笔记 - 使用SMOTE和Near Miss算法处理不平衡数据
- 机器学习笔记 - IOU、mAP、ROC、AUC、准确率、召回率、F分数
- 机器学习笔记 - Kaggle表格游乐场 Feb 2022 学习二
- 机器学习笔记 - 探索性数据分析(EDA) 入门案例四
- 机器学习笔记 - 探索性数据分析(EDA) 概念理解
- 机器学习笔记 - Kaggle表格游乐场 Jan 2022 学习二
- 机器学习笔记 - 1、CNN中的参数解释
- 机器学习笔记 - 语义分割资源清单
- 机器学习笔记(十一)----降维
- 机器学习笔记(一)----基本概念
- Auto-Sklearn:使用 AutoML 加速你的机器学习模型
- NLP模型笔记2022-15:深度机器学习模型原理与源码复现(lstm模型+论文+源码)
- 机器学习笔记