Python 批量插入100万级数据到Excel文件(简洁版)
2023-02-26 10:15:25 时间
引言
python是一门开发语言,可以用来写大型项目,也可以用来写脚本,比如自动化脚本,也可以用来写工具。
背景
我们平时做测试,不一定做自动化测试才用去python,做功能测试,也就是点点点,也可以把它用起来。
比如,我现在页面有一个功能,导入的功能,我想测它最大支持多少数据量导入,或者说多大的文件导入,那么我们得在excel中写入很多条数据(导入模板是xls,xlsx)。
如果是自己手一条一条去弄,显然不现实,数据量不多还好,如果是100万呢,500万呢,1000万呢....
那么,这个时候可以利用python写个脚本,一秒生成百万级+的excel文件。
案例实现
我就将我实际项目遇到的情况拿出来讲。
背景:
1、导入功能;
2、导入模板excel;
3、导入数据格式,两列数据,数据格式不限制。
根据需求,我想测这个导入支持多大的数据量以及达到最大的时候,页面提示什么信息,是报错,还是温馨提示呢?那么就得写这样的一个向excel批量插入数据的脚本:
from xlwt import Workbook
#创建一个工作簿
w = Workbook()
#创建一个工作表
ws = w.add_sheet('1')
# 计数
count = 0
# 行数
link_nums = 5000
for j in range(0,2): #控制列
for i in range(0, link_nums): #控制行
count += 1
if(j == 0): #第一列
ws.write(i, j, i)
if(j == 1):
ws.write(i,j,i)
print("总共生成(单元格): %s数据"%count)
print("总共生成: %s条数据"%link_nums)
w.save('xqtest.xls')
运行结果:
总共生成(单元格): 10000数据
总共生成: 5000条数据
Process finished with exit code 0
打开excel文件查看:
运行时长:
总共生成(单元格): 10000数据
总共生成: 5000条数据
Running time: 7.293443303871468e-07 Seconds
Process finished with exit code 0
拿着生成的excel文件,操作导入,结果报错:
然后测试了这个导入功能,果然是有bug,已经反馈给开发修改了。
总结
方法基本上就是这样,具体根据自己业务需要进行设计。
另外,对测试开发,自动化测试,全栈测试相关技术感兴趣的朋友,可以加入到群里学习和探索交流,进群方式,扫下方二维码。
相关文章
- python教程:shutil高级文件操作
- 用Python操作MySQL存储,这些你都会了吗?
- 单元测试|unittest生成测试报告
- 从0到1实现神经网络(Python)
- 时隔七年的填坑之作:《机器学习数学》书稿PDF免费下载了
- 煤矿AI智能视频分析识别系统
- python--拷贝
- 简易的随机图片API
- 新手学Python可行吗?需要什么基础?(新手学python可行吗?需要什么基础)
- 什么是防抖和节流?有什么区别?如何实现?
- PyTorch中学习率调度器可视化介绍
- 使用PyTorch进行知识蒸馏的代码示例
- Python中的魔法方法
- Python中的时间序列数据操作总结
- 使用Flask快速部署PyTorch模型
- ROS2机器人编程简述humble-第二章-Controlling the Iterative Execution .3.1
- 画【Python折线图】的一百个学习报告(三、自动生成单一数据折线图)
- 使用Python为二年级的学生批量生成数学题
- Python算法:三种高级排序的方法
- CompletableFuture实现异步编排