StratifiedKFold实现分层抽样
实现
2023-09-11 14:17:14 时间
当你要处理一个任务,比如说分类,手上就会有一批训练集和一批测试集,测试集使用来最终的评测。为了能更好的训练一个model并进行有效评估,首先要做的是将手头上的训练集划分出一个验证集,用以验证模型
之前的k折交叉验证没有考虑到标签分布的问题,或者干脆就random一批验证集,其实这样最终的模型会有隐患,科学的做法是:可以利用分层抽样进行划分,能够确保生成的训练集和验证集中的各个类别比例同原始训练集中保持一致,这样就不会产生生成的数据分布紊乱问题,大家可以借鉴使用。API用sklearn的:
from sklearn.model_selection import StratifiedKFold sfolder = StratifiedKFold(n_splits=3,random_state=24,shuffle=True)
相关文章
- 从C#到Python手把手教你用Python实现内存扫描获取指定字符串
- 【FPGA教程案例26】在FPGA中通过verilog来实现小数的基础运算
- MaxScale:实现MySQL读写分离与负载均衡的中间件利器
- 实现简易JDBC框架
- 使用Guava的ComparisonChain实现自定义的排序
- java线程池工作原理和实现原理
- Android 界面滑动实现---Scroller类 从源码和开发文档中学习(让你的布局动起来)
- 《VMware vCAT权威指南:成功构建云环境的核心技术和方法》一1.4 成熟vCloud实现之旅
- Python itertools.combinations 和 itertools.permutations 等价代码实现
- 浅析纯css实现虚线渐变边框的2种方式:反向镂空与mask遮罩
- Android App开发超实用实例 | OpenCV在Android手机实现在图像上添加文本
- Vue 之 vue-seamless-scroll 实现简单自动无缝滚动,且添加对应点击事件的简单整理
- 《TCP/IP具体解释卷2:实现》笔记--域和协议
- string实现
- 利用matlab编写实现显示fmri切片slice图像 混合显示 不同侧面显示 可叠加t检验图显示 by DR. Rajeev Raizada