重复值处理
处理 重复
2023-09-27 14:25:29 时间
import pandas as pd # 生成重复数据 data1 = ['a', 3] data2 = ['b', 2] data3 = ['a', 3] data4 = ['c', 2] df = pd.DataFrame([data1, data2, data3, data4], columns = ['col1', 'col2']) print(df)
# 判断重复数据 isDuplicated = df.duplicated() # 判断重复数据记录 print(isDuplicated) # 打印输出
# 删除重复值 new_df1 = df.drop_duplicates() # 删除数据记录中所有列值相同的记录 new_df2 = df.drop_duplicates(['col1']) # 删除数据记录中col1值相同的记录 new_df3 = df.drop_duplicates(['col2']) # 删除数据记录中col2值相同的记录 new_df4 = df.drop_duplicates(['col1', 'col2']) # 删除数据记录中指定列(col1/col2)值相同的记录 print(new_df1) print(new_df2) print(new_df3) print(new_df4)
判断重复数据的判断方法:df.duplicated(),该方法中两个主要的参数是subset和keep:
- subset:要判断重复值的列,可以指定特定列或多个列。默认使用全部列。
- keep:当重复时不标记为True的规则,可设置为第一个、最后一个和全部标记为True(False)。默认为第一个,即第一个重复值不标记为True。
删除重复数据的方法:df.drop_duplicates(),参数跟df.duplicated()一样。
Numpy重复值的判断
除了Pandas可用来做重复值判断和处理外,也可以使用Numpy中的unique()方法,该方法返回其参数数组中所有不同的值,并且按照从小到大的顺序排列。Python自带的内置函数set方法,也可以返回唯一元素的集合。
相关文章
- C++处理char*,char[],string三种类型间的转换
- SpringBoot 全局异常处理
- Word处理控件Aspose.Words功能演示:在 Java 中将文本转换为 PNG、JPEG 或 GIF 图像
- [Python]ctypes+struct实现类c的结构化数据串行处理
- 设备管理中数据聚类处理-预处理
- 华为python机试题目:整数与IP地址间的转换、图片整理、字串的连接最长路径查找、提取不重复的整数、字符串合并处理、字符串最后一个单词的长度、删除字符串中出现次数最少的字符
- 微服务轮子项目(33) -RocketMQ特点、安装部署、异常处理、事务消息原理
- go web net/http【1】处理URL详解
- Spring Cloud Stream如何处理消息重复消费?
- 《NLTK基础教程——用NLTK和Python库构建机器学习应用》——2.4 标识化处理
- Java 理论与实践: 处理 InterruptedException
- Struts2中防止表单重复提交,global-results定义全局结果处理
- Perl处理数据(一):s替换、split和join
- 新浪是如何分析处理32亿条实时日志的?
- Java 过滤器Url通配符处理
- jq 日期区间处理
- 【JAVA】异常处理
- CSV和JSON格式的数据在python上的处理
- HttpClientFacotry Part 4: 集成 Polly 处理瞬时失效
- 网站前端优化技术 BigPipe分块处理技术