2019数据挖掘
【数据挖掘】任务2：医学数据库MIMIC-III数据处理
要求本次任务的目的是处理PO2，PCO2两个指标。这两个指标均为病人的血气指标，以一定的时间间隔采集。一个病人一次住院期间可能收集一次或者多次。要求，按照采集时间的前后顺序，汇总每个病人每次住院期间的所有的pO2, pCO2指标值。涉及到的预处理方法包括插值，去噪，缺失值填充，离群点数据处理，可视化等。数据集说明patients:包含所有患者数据。chart_events：包含了所有可供患者使用的
日期 2023-06-12 10:48:40
【数据挖掘】任务5：K-means/DBSCAN聚类：双层正方形
要求编程如下数据聚类：双层正方形导库与全局设置import matplotlib.pyplot as plt import numpy as np from sklearn.cluster import KMeans, DBSCAN复制plt.rcParams['font.sans-serif'] = ["SimHei"] plt.rcParams[&quo
日期 2023-06-12 10:48:40
数据挖掘与大数据国际会议 DMBD'2022 火热征稿中，9月30截止
第七届数据挖掘与大数据国际会议（DMBD'2022）The Seventh International Conference on Data Mining and Big Data (DMBD'2022)第七届数据挖掘与大数据国际会议（DMBD'2022）是研究人员和从业者交流其在数据挖掘和大数据以及人工智能技术的理论、算法、模型和应用方面的进展和最新成果的国际性论坛
日期 2023-06-12 10:48:40
数据挖掘之异常检测
大家好，又见面了，我是你们的朋友全栈君。看了数据挖掘的异常检测部分，写一点笔记。1.0 概述什么是数据挖掘：数据挖掘什么是异常检测：异常检测 异常检测的目标是发现与大部分其他对象不同的对象。通常，异常对象被称为离群点，因为在数据的散布图中，他们远离其他数据点。异常检测也称为偏差检测、例外挖掘。 异常检测的方法各种各样，所有这些的思想都是：异常的数据对象是不寻常的，或者在某些方面与其他对象不一
日期 2023-06-12 10:48:40数据挖掘——关联规则挖掘
大家好，又见面了，我是你们的朋友全栈君。 《数据挖掘》国防科技大学 《数据挖掘》青岛大学数据挖掘之关联规则挖掘关联规则挖掘（Association Rule Mining）最早是由Agrawal等人提出。最初的动机是解决购物篮分析（Basket Analysis）问题，目的是发现交易数据库（Transaction Database）中不同商品之间的联系规则。1. 定义关联规则是描述在一个交易
日期 2023-06-12 10:48:40数据挖掘之异常点检测「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。 异常点检测方法 一、基本概念 异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。 异常检测的方法： （1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇
日期 2023-06-12 10:48:40开启机器学习懒人模式——AutoGluon小试某数据挖掘训练赛
近来在浏览DataCastle竞赛平台时，注意到了上面挂载的一些数据挖掘训练赛题目，因为是定位于训练赛，主要用于帮助初学者快速熟悉和练手机器学习技能，所以赛题难度相对基础，也没有提供实质性的竞赛奖励。正好，前期个人在调研一些AutoML相关工具，其中较为好用的一个是AutoGluon，源于亚马逊出品，华人大佬李沐参与研发设计，并曾发文感慨“三行代码击败99%数据科学家”，“调得一手好参的时代要过去
日期 2023-06-12 10:48:40
数据仓库与数据挖掘的一些基本概念是_数据挖掘的实例
下面内容摘自互联网并作了整理。 名词： BI(Business Intelligence)：商业智能， DW(Data Warehouse)：数据仓库，详见正文Q1部分。 OLTP(On-Line Transaction Processing)：联机事务处理也称为面向交易的处理系统，其基本特征是顾客的原始数据能够马上传送到计算中心进行处理，并在非常短的时间内给出处理结果。这样做的最大长处是能够即时
日期 2023-06-12 10:48:40数据挖掘的流程[通俗易懂]
大家好，又见面了，我是你们的朋友全栈君。数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的，有效的，可实用的信息，并使用这些信息做出决策或丰富知识。 数据挖掘环境示意图如图 3-13 所示。 数据挖掘的流程大致如下： 1．问题定义在开始数据挖掘之前，最先的也是最重要的要求就是熟悉背景知识，弄清用户的需求。缺少了背景知识，就不能明确定义要解决的问题，就不能为挖掘准备优质的数据，
日期 2023-06-12 10:48:40数据挖掘项目一般多少钱_预测类数据挖掘项目
大家好，又见面了，我是你们的朋友全栈君。 数据挖掘项目（一） 第一次实践数据挖掘。虚心学习。 基于机器学习的数据分析模型的建立，主要分为以下几步：数据获取->数据预处理->模型选择->数据统一化->模型建立->模型结果分析 首先要对数据进行评估，数据的大小来决定使用工具。 本数据为金融数据，目的为预测贷款用户是否会逾期。导入数据impo
日期 2023-06-12 10:48:40数据挖掘项目_数据分析师怎么自学
大家好，又见面了，我是你们的朋友全栈君。 数据挖掘项目1.数据导入 一共有4754个样本，90列的数据 表格中 “status” 是结果标签：0表示未逾期，1表示逾期。 未逾期：3561 逾期：11932.数据类型分析 90列中70列为float，13列为int,7列object object类型的列名，以及其分布3.删除无关变量4.缺失值处理5.划分数据集 测试集30%
日期 2023-06-12 10:48:40最新综述 | 图数据挖掘中的算法公平性
作者：董钰舜 单位：弗吉尼亚大学图数据挖掘算法已经在很多领域得到应用，但大多数图数据挖掘算法都没有考虑到算法的公平性。在本篇综述中，我们首先系统梳理了图数据挖掘领域内常见的算法公平性的定义和对应的量化指标。在此基础上，我们总结出了一个图数据挖掘算法公平性的分类法，并对现有提升公平性的方法进行了讨论。最后，我们整理了可以用于图数据挖掘中算法公平性研究的数据集，也指出了现有的挑战和未来的工作方向。论文
日期 2023-06-12 10:48:40数仓建模与分析建模_数据仓库建模与数据挖掘建模
大家好，又见面了，我是你们的朋友全栈君。1. 数仓概述数据仓库： 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。重要用于组织积累的历史数据，并且使用分析方法（OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系统提供数据支持，构建商业智能。面向主题：为数据分析提供服务，根据主题将原始数据集合在一起。集成的：原始数据来源于不同的数据源，要整合成最终数据，需要经过 ET
日期 2023-06-12 10:48:40凭感觉这个数据挖掘文章里面的差异基因上下调应该是弄反了
一般来说，数据挖掘文章都是临床医师的专享，大家耳熟能详的策略有；差异分析+PPI网络+hub基因WGCNA+hub基因诊断模型构建预后模型构建肿瘤免疫，CIBERSOFT计算的LM22比例分组，以及ESTIMATE算法等等m6A等生物学功能基因集药敏信息（mRNA，lncRNA，miRNA，甲基化，蛋白）均可走上述流程，也就是说33种癌症乘以5种亚型，乘以5种分子，乘以15个策略就已经是过万篇数据
日期 2023-06-12 10:48:40SAS数据挖掘EM贷款违约预测分析：逐步Logistic逻辑回归、决策树、随机森林
全文链接：http://tecdat.cn/?p=31745原文出处：拓端数据部落公众号近几年来，各家商业银行陆续推出多种贷款业务，如何识别贷款违约因素已经成为各家商业银行健康有序发展贷款业务的关键。在贷款违约预测的数据的基础上，探索是否能通过借贷者的数据判断其违约风险，从而帮助商业银行提前做好应对。解决方案任务/目标根据借款者的个人信息和贷款的属性，运用SAS EM软件，使用多种模型进行分析。数
日期 2023-06-12 10:48:40从零开始的异世界生信学习 GEO数据库数据挖掘--GEO代码-芯片数据分析-1
生信技能树1.代码相关R包的加载options("repos"="https://mirrors.ustc.edu.cn/CRAN/") if(!require("BiocManager")) install.packages("BiocManager",update = F,ask = F) options(BioC
日期 2023-06-12 10:48:40MATLAB数据挖掘用改进的K-Means(K-均值)聚类算法分析高校学生的期末考试成绩数据
全文链接：http://tecdat.cn/?p=30832原文出处：拓端数据部落公众号本文首先阐明了聚类算法的基本概念，介绍了几种比较典型的聚类算法，然后重点阐述了K-均值算法的基本思想，对K-均值算法的优缺点做了分析，回顾了对K-均值改进方法的文献，最后在Matlab中应用了改进的K-均值算法对数据进行了分析。常用的聚类算法常用的聚类算法有：K-MEANS、K-MEDOIDS、BIRCH、CU
日期 2023-06-12 10:48:40多组学数据挖掘结直肠癌的预后与免疫应答潜在的预测标记
前面我们宣传了 重磅课程来袭-专注于肿瘤外显子数据处理，但是由于转录组是深入人心尤其是单细胞转录组的大行其道，现在的小伙伴们对基因层面的数据分析不甚了解，无论是全基因组测序， 还是外显子，基因panel的捕获测序，这些技术在人类疾病研究，尤其是肿瘤领域，也曾经是是“当红炸子鸡”。为了唤起大家的记忆，我们安排实习生解读了十几篇肿瘤外显子技术的最新应，前面解读的是：小细胞肺癌化疗耐药相关的肿瘤外显子层
日期 2023-06-12 10:48:40数据挖掘[一]---汽车车交易价格预测(测评指标；EDA)
题目出自阿里天池赛题链接：零基础入门数据挖掘 - 二手车交易价格预测-天池大赛-阿里云天池1.简介：比赛要求参赛选手根据给定的数据集，建立模型，二手汽车的交易价格。来自 Ebay Kleinanzeigen 报废的二手车，数量超过 370,000，包含 20 列变量信息，为了保证 比赛的公平性，将会从中抽取 10 万条作为训练集，5 万条作为测试集 A，5 万条作为测试集 B。同时会对名称、车辆类
日期 2023-06-12 10:48:40数据挖掘机器学习[六]---项目实战金融风控之贷款违约预测
前言因为文档是去年弄的，很多资料都有点找不到了，我尽可能写的详细。后面以2021年研究生数学建模B题为例【空气质量预报二次建模】再进行一个教学。AI训练营金融风控参考1.项目实战金融风控之贷款违约预测以金融风控中的个人信贷为背景，根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。rain.csv id 为贷款清单分配的唯一信用证标识 loanAm
日期 2023-06-12 10:48:40数据挖掘 | 犀牛鸟精英人才计划课题宣讲会第五场
“犀牛鸟精英人才计划课题宣讲会通过邀请各课题指导团队专家，线上为同学们解答课题背景、研究方向、应用场景、培养模式等，帮助学生更好的选择与研究兴趣更匹配的研究课题，欢迎感兴趣的同学和老师参与。本文推送“课题答疑宣讲会第五场”，内容为“数据挖掘”。”点击下方按钮，预约本次直播点击文字了解“数据挖掘”方向课题详细介绍如对相关课题有疑问，欢迎同学们届时在项目官方QQ交流群（群号：563339770）中或直
日期 2023-06-12 10:48:40快速入门pandas进行数据挖掘数据分析[多维度排序、数据筛选、分组计算、透视表](一)
1. 快速入门python，python基本语法Python使用缩进(tab或者空格)来组织代码，而不是像其 他语言比如R、C++、Java和Perl那样用大括号。考虑使用for循 环来实现排序算法: for x in list_values: if x < 10: small.append(x) else: big
日期 2023-06-12 10:48:40PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像|附代码数据
原文链接：http://tecdat.cn/?p=24346最近我们被客户要求撰写关于用户流失数据挖掘的研究报告，包括一些图形和统计输出。在今天产品高度同质化的品牌营销阶段，企业与企业之间的竞争集中地体现在对客户的争夺上“用户就是上帝”促使众多的企业不惜代价去争夺尽可能多的客户。但是企业在不惜代价发展新用户的过程中，往往会忽视或无暇顾及已有客户的流失情况，结果就导致出现这样一种窘况：一边是新客户在
日期 2023-06-12 10:48:40GEO数据挖掘—1
GEO数据挖掘—1一、图表介绍（一）热图输入数据是数值型矩阵/数据框，颜色的变化表示数值的大小（二）散点图 箱线图（单个基因在两组之间的表达量差异）单个基因的组间比较用箱线图，多个基因用差异分析。（三）火山图火山图的解读logFC是火山图的横坐标，范围基本是个位数的变化。2的几次方。纵坐标是基因的-log10（pvalue）Foldchange(FC):处理组平均值/对照组平均值
日期 2023-06-12 10:48:40【数据挖掘】决策树中根据 信息增益 确定划分属性 ( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 )
文章目录I . 决策树 树根属性 选择II . 信息增益 示例说明III . 信息增益 计算步骤IV . 信息增益 计算使用的数据集 SV . 信息增益 计算公式 已知条件VI . 信息增益 总熵 计算公式VII . 信息增益 每个属性的熵 计算公式VIII . 信息增益 计算公式IX . 信息增益计算 案例X . 信息增益计算 递归确定 划分属性I . 决策树 树根属性 选择1 . 属性选择方法
日期 2023-06-12 10:48:40【数据挖掘】数据挖掘建模 ( 预测建模 | 描述建模 | 预测模型 | 描述模型 | 判别模型 | 概率模型 | 基于回归的预测模型 )
文章目录I . 预测建模 与 描述建模II . 预测模型 与 函数映射III . 预测模型的分类 ( 分类 | 回归 )IV . 预测建模 测试集V . 预测建模 拟合过程VI . 预测模型结构确定VII . 基于分类的判别模型VIII . 基于分类的概率模型IX . 预测模型的评分函数X . 基于回归的预测模型I . 预测建模 与 描述建模1 . 预测建模 :① 目的 : 根据现有的数据集的 若
日期 2023-06-12 10:48:40
【数据挖掘】贝叶斯信念网络 ( 马尔科夫假设 | 结构 | 有向无环图 | 参数 | 条件概率表 | 案例分析 )
文章目录I . 贝叶斯信念网络II . 马尔科夫假设III . 贝叶斯信念网络 示例 1IV . 贝叶斯信念网络 示例 2V . 贝叶斯信念网络 联合概率分布计算VI . 贝叶斯信念网络 联合概率分布计算 2VII . 贝叶斯信念网络 训练过程I . 贝叶斯信念网络1 . 属性关联 : 贝叶斯信念网络 允许数据集样本属性 之间存在依赖关系 ;① 属性概率 : 贝叶斯信念网络中 , 每个节点的概率都
日期 2023-06-12 10:48:40【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )
文章目录I . 神经网络 ( Neural Networks ) 简介II . 神经网络三要素III . 神经网络拓扑结构IV . 神经网络连接方式V . 神经网络学习规则VI . 浅层神经网络 与 深度神经网络VII . 深度学习 简介VIII . 机器学习 简介IX . 深度学习 与 机器学习 建模对比X . 深度学习 与 机器学习 性能对比I . 神经网络 ( Neural Networks
日期 2023-06-12 10:48:40【数据挖掘】神经网络 后向传播算法 ( 线性回归与逻辑回归 | 单个神经元本质及逻辑 | 神经网络每一层分析 | 神经网络矩阵形式 | 线性变换与非线性变换 )
文章目录I . 线性回归 与 逻辑回归II . sigmod 非线性激活函数III . 神经元单元 逻辑IV . 单个 神经元单元 总结V . 神经网络 每一层分析VI . 神经网络 矩阵形式I . 线性回归 与 逻辑回归1 . 神经元单元本质 : 一个 神经元 单元 , 其本质是 逻辑回归单元 ;2 . 逻辑回归 与 线性回归 :① 回归 : 用于预测连续的值 , 叫做回归 ; 预测离散的值叫做
日期 2023-06-12 10:48:40【数据挖掘】神经网络 后向传播算法 ( 梯度下降过程 | 梯度方向说明 | 梯度下降原理 | 损失函数 | 损失函数求导 | 批量梯度下降法 | 随机梯度下降法 | 小批量梯度下降法 )
文章目录I . 梯度下降 Gradient Descent 简介 ( 梯度下降过程 | 梯度下降方向 )II . 梯度下降 示例说明 ( 单个参数 )III . 梯度下降 示例说明 ( 多个参数 )IV . 梯度下降 总结 ( 定义损失函数 | 损失函数求导 )V . 梯度下降 方法VI . 批量梯度下降法VII . 随机梯度下降法VIII . 小批量梯度下降法I . 梯度下降 Gradient
日期 2023-06-12 10:48:40【数据挖掘】聚类算法 简介 ( 基于划分的聚类方法 | 基于层次的聚类方法 | 基于密度的聚类方法 | 基于方格的聚类方法 | 基于模型的聚类方法 )
文章目录I . 聚类主要算法II . 基于划分的聚类方法III . 基于层次的聚类方法IV . 聚合层次聚类 图示V . 划分层次聚类 图示VI . 基于层次的聚类方法 切割点选取VII . 基于密度的方法VIII . 基于方格的方法IX . 基于模型的方法I . 聚类主要算法聚类主要算法 :① 基于划分的聚类方法 : K-Means 方法 ;② 基于层次的聚类方法 : Birch ;③ 基于密度
日期 2023-06-12 10:48:40