超参数(Hyperparameter)
参数
2023-09-27 14:20:51 时间
什么是超参数?
机器学习模型中一般有两类参数:一类需要从数据中学习和估计得到,称为模型参数(Parameter)---即模型本身的参数。比如,线性回归直线的加权系数(斜率)及其偏差项(截距)都是模型参数。还有一类则是机器学习算法中的调优参数(tuning parameters),需要人为设定,称为超参数(Hyperparameter)。比如,正则化系数λ,决策树模型中树的深度。
参数和超参数的区别:
模型参数是模型内部的配置变量,需要用数据估计模型参数的值;模型超参数是模型外部的配置,需要手动设置超参数的值。机器学习中一直说的“调参”,实际上不是调“参数”,而是调“超参数”。
哪些属于超参数?
梯度下降法中的学习速率α,迭代次数epoch,批量大小batch-size,k近邻法中的k(最相近的点的个数),决策树模型中树的深度,等等。
超参数的优化:
有四种主要的策略可用于搜索最佳配置:
- 照看(babysitting,又叫试错)
- 网格搜索
- 随机搜索
- 贝叶斯优化
相关文章
- pytest设置单个函数和多个函数的参数化
- 工作总结 2018-4-13 bootstrapTable 属性 queryParams: queryParams,//参数 get 中 %5B%5D 数组的意思
- 电阻选型,这几个参数你必须要知道
- C# 动态加载DLL通过反射调用参数、方法、窗体
- ASP.NET Core应用程序的参数配置及使用
- JMeter学习-027-JMeter参数文件(脚本分发)路径问题:jmeter.threads.JMeterThread: Test failed! java.lang.IllegalArgumentException: File distributed.csv must exist and be readable解决方法
- 六、SQL语句进行多条件查询,并解决参数为空的情况
- js获取url中指定参数的值(含带hash)
- innodb_flush_log_at_trx_commit和sync_binlog参数详解
- Java Socket重要参数讲解
- JVM垃圾收集器组合--各种组合对应的虚拟机参数实践
- Mybatis if test 条件参数为0的一个坑
- Java 可变长参数