算法与统计学习

算法是指学习模型的具体计算方法。

统计学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的计算方法来求解最优模型。

这时，统计学习问题归结为最优化问题，统计学习的算法成为求解最优化问题的算法。如果最优化问题有显式的解析解，这个最优化问题就比较简单，但通常解析解不存在，这就需要用数值计算的方法求解，如何保证求到全局最优解，并使求解的过程非常高效，就成为一个重要问题。统计学习可以利用已有的最优算法，有时也需要开发独自的最优化算法。

统计学习方法之间的不同，主要来自其模型、策略、算法的不同，确定了模型、策略、算法，统计学习的方法也就确定了，这也就是将其称为统计学习三要素的原因。

统计学习方法的步骤

（1）得到一个有限的训练数据集合

（2）确定包含所有可能的模型的假设空间，即学习模型的集合

（3）确定模型选择的准则，即学习的策略

（4）实现求解最优模型的算法，即学习的算法

（5）通过学习方法选择最优模型

（6）利用学习的最优模型对新数据进行预测或分析