【机器学习】如何判断函数凸或非凸?(面试回答)
2023-09-14 09:13:06 时间
答案
(1)凸函数(Convex function)和非凸函数(Convave function)
通常把函数分为凸函数和非凸函数。凸函数的几何意义在于,定义域中任意两点连线组成的线段都在这两点的函数曲线(面)上方。如图所示。凸函数是有且只有全局最优解的,而非凸函数可能有多个局部最优解。
(2)凸函数判定方法:
- 对于一元函数f(x),首先必须定义域是凸集,其次通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负,即f′′(x)≥0 ,则f(x)是凸函数。
- 对于多元函数f(X),首先必须定义域是凸集,其次通过其黑塞(Hessian)矩阵(Hessian矩阵是由多元函数的二阶导数组成的方阵)的正定性来判断。如果Hessian矩阵是半正定矩阵,则是f(X)凸函数。
扩展
(1)凸优化
在最小化(最大化)的优化要求下,目标函数是凸函数且约束条件所形成的可行域集合是一个凸集的优化方法,因此凸优化的判定条件有两个
- 函数定义域是凸集
- 目标函数是凸函数
(2)经典凸优化问题
- Least squares(最小二乘法,常用,目标:线性关系;限制条件:线性关系)
- Convex quadratic minimization with linear constraints(线性约束条件下的二次规划问题,常用,目标:平方关系;限制条件:线性关系)
- Linear programming(线性规划)
- Quadratic minimization with convex quadratic constraints(具有凸二次约束的二次最小化)
- Conic optimization(圆锥优化)
- Geometric programming(几何规划)
- Second order cone programming(二阶锥规划)
- Semidefinite programming(半定规划)
- Entropy maximization with appropriate constraints(具有适当约束的熵最大化)
相关文章
- 【机器学习】朴素贝叶斯
- Coursera台大机器学习基础课程学习笔记1 -- 机器学习定义及PLA算法
- 基于 KubeVela 的机器学习实践
- 机器学习中的特征选择
- 机器学习入门08 - 表示法 (Representation)
- 如何用3个月零基础入门机器学习?
- 机器学习笔记 - MediaPipe了解 + 结合OpenCV进行人体姿势估计
- 机器学习笔记 - 何时进行特征缩放
- 机器学习笔记 - 全卷积网络(FCN)
- 【原创】机器学习之PageRank算法应用与C#实现(2)球队排名应用与C#代码
- DL之AF:机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略
- AI开发者大会之AI学习与进阶实践:2020年7月3日《如何转型搞AI?》、《基于AI行业价值的AI学习与进阶路径》、《自动机器学习与前沿AI开源项目》、《使用TensorFlow实现经典模型》
- Interview:算法岗位面试—10.23下午—上海某科技公司算法岗位(偏机器学习算法,上市)技术面试之比赛积累、项目经验、个人未来发展
- Interview:算法岗位面试—10.15下午—上海某公司算法岗位(偏机器学习,合资制造行业)技术面试考点之电话面试—研究项目的技术考察
- 机器学习(二十九):LightGBM 模型
- 机器学习常识(二):7 个最常见的机器学习损失函数
- 机器学习(二十三):群粒子算法(PSO)优化前向传播算法案例实现
- 大规模机器学习在LinkedIn预测模型中的应用实践
- 【面试指南】机器学习基础
- 【ML】拆分数据集以进行机器学习
- BAT机器学习面试1000题系列
- 【机器学习】采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?(面试回答)
- 机器学习笔试面试超详细总结(三)