真香啊,推荐 6 个 Python 数据分析神器
用 Python 处理数据大家都不陌生了,属常规操作,但常规之下还是也有些暗藏技巧的。
今天我给大家分享6个好玩高效的操作,帮助大家提高效率。喜欢记得收藏、关注、点赞。
一、Pandas Profiling
Pandas Profiling
提供数据的一个整体报告,是一个帮助我们理解数据的过程。它可以简单快速地对Pandas
的数据框数据进行探索性数据分析。
其实,Pandas
中df.describe()
和df.info()
函数也可以实现数据探索过程第一步。但它们只提供了对数据非常基本的概述。而Pandas
中的Profiling
功能简单通过一行代码就能显示大量信息,同时还能生成交互式HTML
报告。
对于给定的数据集,Pandas中的profiling
包计算了以下统计信息:
由Pandas Profiling
包计算出的统计信息包括直方图、众数、相关系数、分位数、描述统计量、其他信息包括类型、单一变量值、缺失值等。
安装
用pip
和conda
即可,使用方法很简单,如下:
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)
用法
以titanic数据集来演示profiling
的功能。
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)
除了导入库之外只需要一行代码,就能显示数据报告的详细信息,包括必要的图表。
还可以使用以下代码将报告导出到交互式HTML
文件中。
profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile="Titanic data profiling.html")
二、pretty print
pprint
是Python中的内置模块。它能够以格式清晰,可读性强漂亮
格式打印任意数据结构。一个例子对比下print
和pprint
。
my_dict = {'Student_ID': 34,'Student_name' : 'Tom', 'Student_class' : 5,
'Student_marks' : {'maths' : 92,
'science' : 95,
'social_science' : 65,
'English' : 88}
{'Student_ID': 34, 'Student_name': 'Tom', 'Student_class': 5, 'Student_marks': {'maths': 92, 'science': 95, 'social_science': 65, 'English': 88}}
pprint
'Student_marks': {'English': 88,
'maths': 92,
'science': 95,
'social_science': 65},
可以清楚看到pprint
的优势之处,数据结构一目了然啊。
三、Python Debugger
交互式调试器也是一个神奇的函数,如果在运行代码单元格时出现报错,可以在新行中键入%debug
运行它。这将打开一个交互式调试环境,自动转到报错发生的位置,并且还可以检查程序中分配的变量值并执行操作。要退出调试器,按q
。比如下面这个例子。
大家应该能看出x+y
肯定会报错,因为二者不是一个类型,无法进行运算操作。然后我们敲入%debug
。
这时会出现对话框让我们互交式输入命令,比如我们可以像下面这样做。
四、Cufflinks
这个在之前也介绍过,对于数据探索的可视化分析超级好用,低代码量便可生成漂亮的可视化图形。下面举一个例子:
cufflinks
在plotly
的基础上做了一进一步的包装,方法统一,参数配置简单。其次它还可以结合pandas
的dataframe
随意灵活地画图。可以把它形容为"pandas like visualization"。
比如下面的lins线图
。
cf.set_config_file(offline=True)
cf.datagen.lines(1,500).ta_plot(study='sma',periods=[13,21,55])
再比如box箱型图
。
cf.datagen.box(20).iplot(kind='box',legend=False)
看着这动态图就爱不释手啊,有木有!
五、Pyforest
这是一个能让你偷懒的import
神器,可以提前在配置文件里写好要导入的三方库,这样每次编辑脚本的时候就省去了开头的一大堆import 各种库
,对于有常用和固定使用库的朋友来说无疑也是提高效率的工具之一。
pyforest
支持大部分流行的数据科学库,比如pandas
,numpy
,matplotlib
,seaborn
,sklearn
,tensorflow
等等,以及常用的辅助库如os
,sys
,re
,pickle
等。
此用法对于自己频繁调试很方便,但对于那些频繁跨环境比如和其它人共享脚本调试的时候就不是很好用了,因为别人不一定使用它。
六、notebook的笔记高亮
此方法仅适用于Jupyter notebook
中,当我们想高亮笔记,让笔记变得美观的时候,这个方法非常的香。
笔记的高亮的颜色根据不同情况分为几种,前端的同学一看就明白,区别就是每种颜色代码的class
类型不一样,其它只要在div
标签中写内容就好。下面看下用法。
蓝色代表info
<div class="alert alert-block alert-info">
<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.
黄色代表warning
<div class="alert alert-block alert-warning">
<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.
绿色代表success
<div class="alert alert-block alert-success">
Use green box only when necessary like to display links to related content.
红色代表danger
<div class="alert alert-block alert-danger">
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
这里有个小提示提示下,如果你直接复制到jupyter notebook
中可能会报错,因为默认是代码的格式,所以你需要选中单元格按Esc
变成可切换模式,然后再按Y
切换成文本模式。这时候再运行shift+ok
就ok了。看下面这个例子。
欢迎老铁们多多分享和点个在看!
推荐文章
相关文章
- Python 自动登录网站(处理Cookie)
- 跨平台python异步回调机制实现和使用方法
- python-面向对象-12_模块和包
- 小白学 Python 数据分析(19):Matplotlib(四)常用图表(下)
- Python运用于数据分析的简单教程
- Python tkinter库之Canvas 根据函数解析式或参数方程画出图像
- 机器学习笔记 - LUX:用于自动探索性数据分析的 Python API
- Python asyncio异步编程简单实现
- 好用的Python IDLE Sublime Text 3推荐
- python数据分析岗的学习路线该如何规划?
- 快速入门 Python 数据分析实用指南
- Python编程语言学习:如何将excel表格内的科学计数法转为常规数值并全部显示?
- 100天精通Python(数据分析篇)——第71天:Pandas文本数据处理方法之str/object类型转换、大小写转换、文本对齐、获取长度、出现次数、编码
- 100天精通Python(数据分析篇)——第58天:Pandas读写数据库(read_sql、to_sql参数说明+代码实战)
- 100天精通Python(数据分析篇)——第51天:numpy模块常用函数大全(字符串/数学/算术/统计/排序/搜索函数)
- 已解决python selenium模块自动化操作谷歌浏览器点击元素失效问题解决(亲测有效)
- 13天搞定python分布式爬虫(视频+项目双管齐下)
- 爱啦爱啦,这三款最频繁使用的 Python 数据探索分析神器真香啊
- 【阶段二】Python数据分析数据可视化工具使用01篇:数据可视化工具介绍、数据可视化工具安装、折线图与柱形图
- Python数据分析机器学习深度学习:从入门到项目实战
- Python实现ALO蚁狮优化算法优化支持向量机回归模型(SVR算法)项目实战
- 【项目实战】Python基于波动率模型(ARCH和GARCH)进行股票数据分析项目实战
- python之redis
- python数据分析:湖南省第七次人口普查可视化
- 【数据分析】python带你分析122万人的生活工作和死亡数据