您现在的位置是：首页 > Python

当前栏目

Python数据清洗

Python 数据

2023-03-02 14:05:20 时间

## 数据基本情况查看 ##

from pandas import Series,DataFrame
    from numpy import nan as NA
    data = pd.read_csv('C://Users//TD//Desktop//hosptdata.csv')
    print(data.dropna())
    data.head(5)     #显示前5行数据
    data.tail(5)     #显示后5行
    data.columns    #查看列名
    data.info()     #查看各字段的信息
    data.shape      #查看数据集行列分布，几行几列
    data.describe() #查看数据的大体情况
    data['MSSubClass'].skew()  #列出数据的偏斜度
    data['MSSubClass'].value_counts()   #统计某一列中各个元素值出现的次数  
    data['LotFrontage'].corr(data['LotArea'])  # 计算2列相系数

\#计算两个列的相关度

## 数据缺失值处理 ##

1.使用可用特征的均值来填补缺失值；  
2.使用特殊值来填补缺失值，如-1；  
3.忽略有缺失值的样本；  
4.使用相似样本的均值添补缺失值；  
5.使用另外的机器学习算法预测缺失值。

#### （1）删除缺失值 ####

from pandas import Series,DataFrame
    from numpy import nan as NA
    data = pd.read_csv('C://Users//TD//Desktop//hosptdata.csv')
    print(data.dropna())

删除指定记录第1299条数数据

data= data.drop(data[data['Id'] == 1299].index)

#### （2）补充缺失值 ####

将x1中的缺失值用0进行填充

from pandas import Series,DataFrame, np
    from numpy import nan as NA
    X1= data[['年龄']]   
    X1.fillna(0)

均值填充缺失值

data.fillna(data.mean())

中位数填补

data['file2'] = data['file2'].fillna(data['file2'].median())

#### (3)异常值统计和识别 ####

找出第3列中(file3)绝对值大小超过3项数

from pandas import Series,DataFrame, np
    from numpy import nan as NA
    data.describe()  ##查看数据的描述统计量
    file3=data[3]
    finddata <- col[np.abs(file3) > 12] 
    print(finddata )

找出字段下的全部绝对值超过12的值的行

file3=col[(np.abs(file) > 12).any(1)] 
    print(file3)

统计缺失值个数

file33=file3.isnull()
    count=ffile33.count()

#### （4）删除重复数据处理 ####

删除data中的重复数据

data.duplicated()

猜你喜欢

鲜为人知但很有用的 HTML 属性
在 Go 里用 CGO？这 7 个问题你要关注！
数据孤岛是业务效率的无声杀手
9款优秀的去中心化通讯软件 Matrix 的客户端
翻转再翻转！有意思的水平横向溢出滚动
发现 Linux SpaceFM 文件管理器的威力
图像处理工具Python扩展库，你了解吗？
求职数据分析，项目经验该怎么写
自定义计数器小技巧！CSS 实现长按点赞累加动画
在OKR中，我看到了数据驱动业务的未来
2023展望：新的一年将给大数据分析领域带来什么？
过五关！React高频面试题指南
阿里云ADB基于Hudi构建Lakehouse的实践
火山引擎云原生大数据在金融行业的实践
OpenHarmony富设备移植指南（二）—从postmarketOS获取移植资源
《数据成熟度指数》报告：64%的企业领袖认为大多数员工“不懂数据”
OpenHarmony 小型系统兼容性测试指南
肯睿中国（Cloudera）：2023年企业数字战略三大趋势预测
适用于 Linux 的十大命令行游戏
软件开发中的十个认知偏差

zl程序教程

当前栏目

Python数据清洗

相关文章