zl程序教程

您现在的位置是:首页 >  后端

当前栏目

Python使用故事之 超过 Excel文件大小限制时推荐使用 SQLite

PythonExcelSQLite 推荐 限制 故事 超过 文件大小
2023-09-11 14:18:47 时间

国外非程序员使用sqlite经验分享

我不是 Python 开发人员,因为我大部分时间都在使用其他语言进行编码。但是,我确实使用 python 来实现自动化并使用 pandas 操作电子表格。我真的很喜欢 Python,用这种语言编码很有趣。在家里,我有时会写游戏或自动化一些东西。
前几天我正在验证一个文件,但我无法用我的任何文本编辑器打开它。我试图在 Python 中读取它以获取记录数,但我得到了一个“内存错误”。事实证明这是一个巨大的 XML 文件,我终于能够在浏览器中查看它并验证它是正确的文件,就是这样。
在家里作为个人项目,我下载了一个包含 200 万条记录的免费公共 Excel 文件,并决定通过使用 Python 将数据导出到 SQLite 数据库来探索查看数据,SQLite 数据库是 Python 附带的轻量级数据库。当我打开 CSV 文件时,Excel 给了我一个弹出窗口,指出“文件未完全加载”。它加载了 200 万条记录中的超过 100 万条记录。所以我用下面的代码用 Python 加载了它。
顺便说一句,如果您没有安装 Pandas,则需要在您的环境中对其进行 pip 安装。
我在网上找到的 CSV 文件是“2m Sales Records.csv”。我导入了 pandas 和 sqlite3 并将 CSV 文件读入 DataFrame。

在这里插入图片描述