Python使用故事之 超过 Excel文件大小限制时推荐使用 SQLite
2023-09-11 14:18:47 时间
国外非程序员使用sqlite经验分享
我不是 Python 开发人员,因为我大部分时间都在使用其他语言进行编码。但是,我确实使用 python 来实现自动化并使用 pandas 操作电子表格。我真的很喜欢 Python,用这种语言编码很有趣。在家里,我有时会写游戏或自动化一些东西。
前几天我正在验证一个文件,但我无法用我的任何文本编辑器打开它。我试图在 Python 中读取它以获取记录数,但我得到了一个“内存错误”。事实证明这是一个巨大的 XML 文件,我终于能够在浏览器中查看它并验证它是正确的文件,就是这样。
在家里作为个人项目,我下载了一个包含 200 万条记录的免费公共 Excel 文件,并决定通过使用 Python 将数据导出到 SQLite 数据库来探索查看数据,SQLite 数据库是 Python 附带的轻量级数据库。当我打开 CSV 文件时,Excel 给了我一个弹出窗口,指出“文件未完全加载”。它加载了 200 万条记录中的超过 100 万条记录。所以我用下面的代码用 Python 加载了它。
顺便说一句,如果您没有安装 Pandas,则需要在您的环境中对其进行 pip 安装。
我在网上找到的 CSV 文件是“2m Sales Records.csv”。我导入了 pandas 和 sqlite3 并将 CSV 文件读入 DataFrame。
接
相关文章
- Python内置的数据类型--list,tuple
- 在Windows下安装配置OpenCV-Python-PyCharm开发环境
- 162 python网络编程 - 协程
- 05 python - 标示符和关键字
- 自从学会了Pandas,我用Python处理Excel更高效了
- 《python 与数据挖掘 》一 第2章 Python基础入门
- 【Python学习】打印10000以内的所有素数
- Python+Opencv识别两张相似图片
- python做中学(七)ord() 函数
- 《Python和Pygame游戏开发指南》——2.22 播放声音
- 《易学Python》—— 1.5 Macintosh
- Python + Excel 办公自动化 01 —— 硬菜马上就来
- Python Excel自动化之 如何根据某一列快速对比两excel文件不同并输出不同内容
- Python教程之正则表达式实现拼音与中文提取并存储excel(教程含源码)
- 如何更改Python项目中的 模块搜索第一路径
- EXCEL excel中运用ctrl+D、ctrl+enter、ctrl+E批量填充数据
- excel-合并多个Excel文件--VBA合并当前目录下所有Excel工作簿中的所有工作表
- python 操作excel根据某一行的数值对一行进行复制扩行-代码实现
- python 调用打印机,打开excel并打印笔记
- 小学生python游戏编程arcade----excel调用
- 2.用Python套用Excel模板,一键完成原亮样式
- 记录python接口自动化测试--从excel中读取params参数传入requests请求不生效问题的解决过程(第七目)
- CAD表格怎么转换成Excel表格?CAD表格转EXCEL步骤
- python爬虫之selenium+BeautifulSoup库,爬取搜索内容并保存excel
- python爬虫练习之requests+BeautifulSoup库,提取影片信息,并保存至excel