[机器学习、Spark]Spark MLlib分类
👨🎓👨🎓博主:发量不足
📑📑本期更新内容:Spark MLlib分类🔥🔥
📑📑下篇文章预告:Hadoop全分布部署🔥🔥🔥
简介:耐心,自信来源于你强大的思想和知识基础!!
目录
MLB支持多种分类分新方法。如一元分类、多元分类
分析方法 | 相关算法 |
二元分类 | 线性支持向量机、逻辑回归、决策树、随机森林、梯度提升树、朴素贝叶斯 |
多元分类 | 逻辑回归、决策树、随机森林朴素贝叶斯 |
本文章主要介绍Spark MLlib的两种线性分类方法:线性支持向量机(SVM)和逻辑回归。
一、线性支持向量机
线性支持向量机在机器学习领域中是一种常见的判别方法,是一一个有监督学习模型,通常用来进行模式识别,分类以及回归分析。
通过找到支持向量从而获得分类平面的方法,称为支持向量机。可以非常成功地处理回归(时间序列分析)和模式识别(分类问题、判别分析)等诸多问题,并可推广到预测和综合评价等领域,因此可应用于理科、工科和管理等多种学科。
MLlib中对支持向量机算法有较好的支持,用来解决一般线性回归和逻辑回归不好处理的数据分类内容,结果验证其准确性较好。
1.导入线性支持向量机所需包
2.导入二元分类评估类
3.MLUtils提供了一些辅助方法,用于加载,保存和预处理MLLib中使用的数据
4.加载Spark官方提供数据集
5.将数据的60%分为训练数据,40%分为测试数据
6.设置迭代次数
7.执行算法来构建模型
8.用测试数据评估模型
9.获取评估指标
10.计算二元分类的PR和ROC曲线下的面积
11.保存并加载模型
二、逻辑回归
逻辑回归又称为逻辑回归分析,它是一个概率模型的分类算法,常用于数据挖掘、疾病自动诊断以及经济预测等领域。
逻辑回归和线性回归类似,但它不属于回归分析家族,差异主要是在于变量不同,因此其解法和生成曲线也不尽相同。逻辑回归也是无监督学习的一个重要算法,特别是用在二分分类中。
逻辑回归实际上就是对已有数据进行分析从而判断其结果可能是多少,它可以通过数学公式来表达。MLlib中MulticlassMetrics类是对数据进行分类的类,其中包括各种方法。
1.导人逻辑回归所需包
2.导入分类评估器
3.加载spark官方提供数据集
4.将数据的60%分为训练数据,40%分为测试数据
5.运行训练算法来构建模型
6.用测试数据评估模型
7.获取评估指标
8.保存并加载模型
相关文章
- 刚上班三天就被裁。。还有谁!!
- 学习CSS3,使用双旋转实现福到了的迎春喜庆特效
- 学习笔记——SSM整合(思路、步骤)
- 学习笔记——SpringMVC拦截器的两种装配方式;SpringMVC拦截器工作原理;SpringMVC中的异常处理器;SpringMVC工作原理
- 学习笔记——拦截器与过滤器的区别;拦截器概述;拦截器中三个方法
- 学习笔记——SpringMVC文件上传与下载
- 学习笔记——SpringMVC消息转换器概述;使用消息转换器处理请求报文;使用消息转换器处理响应报文;使用消息转换器处理Json格式数据
- 学习笔记——springMVC中视图及视图解析器对象;视图控制器
- 学习笔记——SpringMVC处理响应数据;SpringMVC处理请求域响应乱码问题
- 《RPC实战与核心原理》学习笔记Day3
- 盘点12个前端低代码的框架开源项目以及前端低代码的总结调研,比如百度开源的前端低代码框架、阿里巴巴开源的低代码平台、Element UI表单设计及代码生成器、H5可视化页面配置等
- 学习笔记——SpringMVC简介;SpringMVC处理请求原理简图;SpringMVC搭建框架
- 学习笔记——Spring声明式事务管理属性(隔离级别、事务超时、事务只读、事务回滚);Spring5新特性、新注解&整合log4j2;Spring5整合Junit5
- 学习笔记——Spring声明式事务管理;Spring中支持事务管理;使用声明式事务管理;Spring声明式事务管理属性
- 学习笔记——定义切面优先级 ;Spring中的JdbcTemplate;JdbcTemplate的常用API
- 学习笔记——Spring中的AOP(AspectJ);Spring中AOP概述;Spring中AOP相关术语;AspectJ中切入点表达式;AspectJ中JoinPoint对象;AspectJ中通知
- 学习笔记——AOP-代理模式
- 学习笔记——Spring底层IOC实现;Spring依赖注入数值问题;Spring依赖注入方式
- 学习笔记——Mybatis分页插件
- 学习笔记——Mybatis逆向工程MBG;MyBatis逆向工程MBG使用步骤