Python 探索性数据分析工具(PandasGUI,Pandas Profiling,Sweetviz,dtale)以及学术论文快速作图science.mplstyle
如果探索的数据集侧重数据展示,可以选PandasGUI
;如果只是简单了解基本统计指标,可以选择Pandas Profiling
和Sweetviz
;如果需要做深度的数据探索,那就选择dtale
。
1. 4款 Python 自动数据分析神器真香啊:
如此优雅,4款 Python 自动数据分析神器真香啊_我爱Python数据挖掘的博客-CSDN博客_python自动分析数据
1. PandasGUI:
PandasGUI操作界面
PandasGUI
更侧重数据展示,提供了10多种图表,通过可视的方式配置。
但数据统计做的比较简单,没有提供缺失值、相关系数等指标,数据转换部分也只开放了一小部分接口。
2.Pandas Profiling
Pandas Profiling操作界面
每列的详情包括:缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。
列之间的相关系数支持Spearman、Pearson、Kendall 和 Phik 4 种相关系数算法。
与 PandasGUI 相反,Pandas Profiling没有丰富的图表,但提供了非常多的统计指标以及相关系数。
3. Sweetviz
Sweetviz
与Pandas Profiling
类似,提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。
4. dtale
最后重磅介绍dtale
,它不仅提供丰富图表展示数据,还提供了很多交互式的接口,对数据进行操作、转换。
1.2 Python小工具(2)-----数据分析(sweetviz库的使用):
Python小工具(2)-----数据分析(sweetviz库的使用)_飞在天空中的狗的博客-CSDN博客_python sweetviz
1.3 sweetviz包:快速可视化和数据集EDA
sweetviz包:快速可视化和数据集EDA_Smilecoc的博客-CSDN博客_sweetviz
1.4 【DTale】数据分析强大工具DTale的使用
【DTale】数据分析强大工具DTale的使用_Koma_zhe的博客-CSDN博客_dtale教程
1.5 用Python的dtale库进行数据探索
用Python的dtale库进行数据探索_菜鸟学Python数据分析的博客-CSDN博客
2. 学术论文快速作图(不同期刊格式图表):
Python小工具(3)----- 学术论文快速作图(不同期刊格式图表)_飞在天空中的狗的博客-CSDN博客
3. 多个文件多数据批量读取:
多个文件多数据批量读取_飞在天空中的狗的博客-CSDN博客_批量从多个文件中提取数据
import numpy as np
import os
# 加载数据路径
x_path = r'xxxx\BP_input_ai_data\\'
y_path = r'xxxx\BP_input_Y_data\\'
def read(x_path,y_path):
x_files = os.listdir(x_path)
y_files = os.listdir(y_path)
file_num = len(x_files) # 文件夹下文件个数
print('======= 共计%s个数据 ======' % file_num)
x_files.sort(key=lambda x: int(x[:-4])) #倒着数第四位'.'为分界线,按照‘.’左边的数字从小到大排序 1.txt 2.txt
y_files.sort(key=lambda y: int(y[:-4]))
# 读取文件夹中每个数据
for i in range(file_num): # 这里循环 读每个文件下的所有数据
x_name = x_path + '\\' + x_files[i]
y_name = y_path + '\\' + y_files[i]
# print('====== %s读取数据... ======' % x_files[i])
x_data = np.loadtxt(x_name) # 读取数据
y_data = np.loadtxt(y_name)
4.批量修改文件夹中文件后缀名:
批量修改文件夹中文件后缀名_飞在天空中的狗的博客-CSDN博客_批量修改后缀名
待修改数据 1.doc 2.doc 目标格式: 1.txt 2.txt
在此文件夹新建一个记事本,输入代码 ren *.doc *.txt,保存,然后把这个记事本的后缀改为bat,双击运行就行 (无论多少的文件,运行这个bat文件都能同时修改后缀~)
相关文章
- pycharm整理格式快捷键_python代码对齐快捷键
- Python每日一练(六)
- python中pygame怎么安_Python中pygame安装方法图文详解
- python的进制转换器,Python进制转换[通俗易懂]
- Python入门系列(十)一篇学会python文件处理
- python判断linux中文件是否存在_Python判断文件是否存在的三种方法
- 用python的pandas打开csv文件_如何使用Pandas DataFrame打开CSV文件 – python[通俗易懂]
- 【说站】python中pandas的知识点整理
- 【说站】python变量如何在作用域使用
- 【说站】python使用get()访问字典值
- python图像多层小波分解_Python中图像小波分解与重构以及灰度图加噪
- Python:利用python代码编程实现将视频的avi格式转换为MP4格式
- Python学生信息管理系统课程设计报告_python做的项目管理系统
- python deepcopy函数_Python deepcopy
- 【计算机视觉】使用OpenCV处理色彩空间(Python版)
- Python自动化办公--Pandas玩转Excel数据分析【二】
- 使用Python执行Linux命令的方法(python调用linux命令)
- python-pandas:切片详解编程语言
- python-pandas:StringMethods详解编程语言
- python监听键盘事件详解编程语言
- Python玩转Redis:提升缓存效率(python使用redis)
- Python 下使用 Altair 数据制图
- Python在MSSQL中的应用实践(python与mssql)
- Python深入理解yield
- python切片和range()用法说明
- python实现在目录中查找指定文件的方法