人工智能 kmeans和som的简单比较——线性可分的数据还可以,但都不擅长处理圆分割数据,因为用的欧几里得距离?
聚类分析是一种常用的分析方法,其中最为常用的 KMeans。最近也看到一个 KMeans 的改进方法,是加入 som 竞争神经网络进行训练。
竞争神经网络是一个仿照人脑神经元的启发而发明的,在这个神经网络中,神经元竞争被激活的机会。当接受到刺激的时候,神经网络中的一部分神经元会兴奋,而其他的则不会。此类神经元会对某类特征特别敏感。 整个神经元中,不同的神经元对不同的特征敏感。兴奋的神经元会对周围的神经元起抑制作用。
此次比较使用了三组数据,分别是经典的 iris 数据集,和随机生成的两个圆。iris 数据集可以近似看做线性可分,两个圆的就是线性不可分的情况。
1
|
from sklearn.datasets import load_iris
|
f1 得分为 0.89
1
|
def som(k,x,y,data):
|
f1 得分为 0.95
可以看出 som 这种方法可以获得比 kmeans 稍好的结果。
下面看看线性不可分的情况,使用 sklearn 里面的 make_circle 来生成数据
1
|
from sklearn.datasets import make_circles
|
下面分别是 kmeans 和 som 的结果:
image image可以看出两个聚类器都不能识别这类情况,所以我感觉 som 只能对线性可分的情况进行处理,而且总体上和 kmeans 差不多,也没有特别不一样。
在处理线性不可分的这个情况,又试了一下 DBSCAN 和 KernelPCA。
DBSCAN 是一种基于密度的聚类方法,可以发现一些不规则的簇。但是它使用的范围其实很有限,如果分类的点的密度不均衡,则会出现问题,另外对于 较高维度的数据,同样不是很适合。
PCA 主成分分析是进行降维的,而 KPCA 则恰恰相反,通过核函数,进行升维,将原来线性不可分的问题转换为线性可分的。
1
|
from sklearn.cluster import DBSCAN
|
DBSCAN 比较麻烦,需要设置合适的参数才能发现正确的类
1
|
from sklearn.decomposition import KernelPCA
|
这里利用了 KPCA 进行升维然后使用 KMeans 进行聚类,效果拔群
image做了一段时间的聚类分析,主要用的参数是凝聚度,离散度和轮廓系数,但是这里有一个要注意的地方,其实很多这些指标都是基于簇是类圆形的, 对于像上面的那种线性不可分的情况其实不太适用。
总的来说,其实对于高维数据的聚类其实是相当的麻烦的,特别是做无监督的聚类,其评价方法不是很有效。
相关文章
- CANopen笔记1 -- SDO服务数据对象
- 海量数据存储之nosql教程(转)
- Intent 数据传递 总结
- 基层民警体验大数据、云计算、人工智能带来的巨变
- 大数据和人工智能,金融产业的创新发展通道
- Atitit attilax涉及到的大数据 数据分析 数据挖掘 ai人工智能的处理技术 目录 1.1. 大数据 机器视觉 图像处理 数据分析 数据挖掘 知识图谱 ai人工智能方面系列项目1 2.
- SAP UI5 表格行项目内的按钮点击之后,如何获得当前所在的表格行项目的数据
- ML之CatBoost:金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为
- ML之DT:机器学习根据大量数据,已知年龄、收入、是否上海人、私家车价格的一个人,预测是否有真实购买上海黄浦区楼房的能力
- 不care工具,在大数据平台中Hive能自动处理SQL
- 【大数据&AI人工智能】图文详解 ChatGPT、文心一言等大模型背后的 Transformer 算法原理
- 【大数据&人工智能AI2.0】GPT-4 office 全家桶发布,打工人凛冬将至 :Microsoft 365 Copilot (副驾驶)简介
- 【大数据 & AI 人工智能】源动力:改变未来世界的5大核心力量
- 【大数据&AI人工智能】意识是什么? AI 怎样才算是拥有了意识?
- 【大数据&AI人工智能】图数据库的发展脉络与技术演进
- 【大数据&AI人工智能】图灵:计算机器与智能 - 经典AI论文系列
- 【大数据&AI人工智能】LSM-Tree:NoSQL数据库的底层设计
- 【大数据&AI人工智能】数据智能到底是什么——企业级 DT 数据智能实践详解
- 【大数据&AI人工智能】每天都在改变世界!这绝对是 AI 史上最疯狂的一周
- 【大数据&AI人工智能】数字孪生:为城市和你创造一个虚拟副本
- e870. 获取默认外观的数据