机器学习算法

·机器学习算法，是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的方法。
·可以分成下面几种类别：
	1.监督学习
	2.无监督学习
	3.强化学习

1. 监督学习

·监督学习：是从有标记的训练数据中学习一个函数，形式上就是模型参数，然后根据这个函数对未知样本进行预测。
	·函数的输入：是某一样本的特征；
	·函数的输出：是这一样本对应的标签结果。  

·常见的监督学习算法包括：【回归分析】和【统计分类】。

·监督学习包含【分类】和【数字预测】两大类别，
 前者包括：逻辑回归、决策树、KNN、随机森林、支持向量机、朴素贝叶斯等。
 后者包括：线性回归、KNN、Gradient Boosting 和 AdaBoost 等。

2. 无监督学习

·无监督学习：又称为非监督式学习，它的输入样本不需要标记，而是自动从样本中学习特征实现预测。
·常见的无监督学习算法有：【聚类】和【关联分析】等。
·在人工神经网络中，自组织映射（SOM）和适应性共振理论（ART）是最常用的无监督学习。

3. 强化学习

·强化学习：是通过观察来学习做成什么样的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。
·强化学习，强调如何基于环境而行动，以取得最大化的预期利益。
 其灵感来源于心理学中的行为主义理论，即 有机体如何在环境中给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。

·根据机器学习的任务分类，可以分为：【回归】、【分类】、【聚类】三大常见机器学习任务。
·某些机器学习算法可能同时属于不同的分类，如深度学习算法可能存在于监督学习，也可能用于强化学习，在实践过程中可依据实际需要进行选择。
——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
·熟悉各类分析方法的特性是分析方法选择的基础。
	1.不仅需要了解如何使用各类分析算法，还要了解其实现的原理，这样才能在参数优化和模型改进时减少无效的调整。
	2.在选择模型之前要对数据进行探索分析，了解数据类型和数据特点，发现各自变量之间的关系以及自变量与因变量的关系，
	  特别注意在维度较多时容易出现变量的多重共现性问题，可应用箱图、直方图、散点图查找其中的规律性信息。
·模型选择过程中先提出多个可能下的模型，然后对其进行详细分析，并选择其中可用于分析的模型。
	1.在自变量选择时，大多数情况下需要结合业务来手动选择自变量。
	2.在选择模型后，比较不同模型的拟合程度，可统计显著性参数、R^2、调整R^2、最小信息标准、BIC和误差准则、Mallow's Cp准则等。
	  在单个模型中可将数据分为训练集和测试集，用来做交叉验证并分析结果的稳定性。
	  反复调整参数使模型趋于稳定和高效。