人工智能——聚类总述

目录

1 无监督学习的目标

2 聚类(clustering)

 2.1 欧氏距离

2.2 曼哈顿距离 

 2.3 马氏距离

2.4 夹角余弦 

3 Sklearn & 聚类 

3.1 概述

 3.2 sklearn.cluster

 4 降维

4.1 概述      ​

4.2  聚类 vs.降维

4.3 sklearn vs.降维

1 无监督学习的目标

利用无标签的数据学习数据的分布或数据与数据之间的关系被称作无监督学习。

• 有监督学习和无监督学习的最大区别在于数据是否有标签。

• 无监督学习最常应用的场景是聚类 (clustering) 和降维 (Dimension Reduction)。

2 聚类(clustering)

聚类 (clustering) ，就是根据数据的“相似性”将数据分为多类的过程。

评估两个不同样本之间的“相似性” ，通常使用的方法就是计算两个样本之间的“距离”。

使用不同的方法计算样本间的距离会关系到聚类结果的好坏。

                    

 2.1 欧氏距离

欧氏距离是最常用的一种距离度量方法，源于欧式空间中两点的距离。其计算方法如下：

                            

           

 

2.2 曼哈顿距离 

曼哈顿距离也称作“城市街区距离”，类似于在城市之中驾车行驶，从一个十字路口到另外一个十字楼口的距离。其计算方法如下：

                    

               

 2.3 马氏距离

马氏距离表示数据的协方差距离，是一种尺度无关的度量方式。也就是说马氏距离会先将样本点的各个属性标准化，再计算样本间的距离。其计算方式如下：（s 是协方差矩阵，如图）

            

               

     

2.4 夹角余弦 

余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个样本差异的大小。余弦值越接近1 ，说明两个向量夹角越接近0 度，表明两个向量越相似。其计算方法如下：

                   

                    

 

3 Sklearn & 聚类 

3.1 概述

（1）scikit-learn 库（以后简称 sklearn 库）提供的常用聚类算法函数包含在 sklearn.cluster这个模块中，如： K-Means ，近邻传播算法，DBSCAN ，等。

（2）以同样的数据集应用于不同的算法，可能会得到不同的结果，算法所耗费的时间也不尽相同，这是由算法的特性决定的。下图是我们调用sklearn库的标准函数对不同数据集执行的聚类结果。

     

 3.2 sklearn.cluster

（1）sklearn.cluster 模块提供的各聚类算法函数可以使用不同的数据形式作为输入。

（2）标准数据 输入格式 :[ 样本个数，特征个数 ] 定义的矩阵形式。

（3）相似性矩阵输入格式：即由[ 样本数目，样本数目 ] 定义的矩阵形式，矩阵中的每一个元素为两个样本的相似度，如DBSCAN ， AffinityPropagation( 近邻传播算法) 接受这种输入。如果以余弦相似度为例，则对角线元素全为 1. 矩阵中每个元素的取值范围为[0,1]。

                                                       sklearn.cluster