建议收藏!Python 读取千万级数据自动写入 MySQL 数据库
2023-06-13 09:11:51 时间
作者:python与数据分析 链接:https://www.jianshu.com/p/22cb6a4af6d4
Python 读取数据自动写入 MySQL 数据库,这个需求在工作中是非常普遍的,主要涉及到 python 操作数据库,读写更新等,数据库可能是 mongodb、 es,他们的处理思路都是相似的,只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql,分为两个场景,三种方式。
一、场景一:数据不需要频繁的写入mysql
使用 navicat 工具的导入向导功能。支持多种文件格式,可以根据文件的字段自动建表,也可以在已有表中插入数据,非常快捷方便。
场景二:数据是增量的,需要自动化并频繁写入mysql
测试数据:csv 格式 ,大约 1200万行
import pandas as pd
data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv')
data.shape
打印结果
方式一:
- python ➕ pymysql 库
- 安装 pymysql 命令
pip install pymysql
代码实现
import pymysql
# 数据库连接信息
conn = pymysql.connect(
host='127.0.0.1',
user='root',
passwd='wangyuqing',
db='test01',
port = ,
charset="utf8")
# 分块处理
big_size =
# 分块遍历写入到 mysql
with pd.read_csv('./tianchi_mobile_recommend_train_user.csv',chunksize=big_size) as reader:
for df in reader:
datas = []
print('处理:',len(df))
# print(df)
for i ,j in df.iterrows():
data = (j['user_id'],j['item_id'],j['behavior_type'],
j['item_category'],j['time'])
datas.append(data)
_values = ",".join(['%s', ] * )
sql = """insert into users(user_id,item_id,behavior_type
,item_category,time) values(%s)""" % _values
cursor = conn.cursor()
cursor.executemany(sql,datas)
conn.commit()
# 关闭服务
conn.close()
cursor.close()
print('存入成功!')
方式二:
- pandas ➕ sqlalchemy:pandas需要引入sqlalchemy来支持sql,在sqlalchemy的支持下,它可以实现所有常见数据库类型的查询、更新等操作。
代码实现
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:wangyuqing@localhost:3306/test01')
data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv')
data.to_sql('user02',engine,chunksize=,index=None)
print('存入成功!')
总结
pymysql 方法用时12分47秒,耗时还是比较长的,代码量大,而 pandas 仅需五行代码就实现了这个需求,只用了4分钟左右。
最后补充下,方式一需要提前建表,方式二则不需要。
所以推荐大家使用第二种方式,既方便又效率高。如果还觉得速度慢的小伙伴,可以考虑加入多进程、多线程。
最全的三种将数据存入到 MySQL 数据库方法:
- 直接存,利用 navicat 的导入向导功能
- Python pymysql
- Pandas sqlalchemy
相关文章
- 【说站】python探针如何实现
- MySQL数据库:价钱大全(mysql数据库多少钱)
- 开启Java之门:访问MySQL数据库(java访问mysql数据库)
- MacBook上快速安装MySQL(macbook安装mysql)
- 优化解决MySQL数据库慢查询问题的优化策略(mysql数据库慢查询)
- MySQL健康检查:保障数据库运行稳定(mysql健康检查)
- MySQL数据库转换工具:快速高效的数据转换神器(mysql数据库转换工具)
- MySQL数据库增量备份技巧与注意事项(mysql数据库增量备份)
- MySQL分组技巧: 快速优化性能(mysql分组优化)
- MySQL搭建本地数据库:一步一步指南(mysql创建本地数据库)
- 妙用MySQL数据库:用图片存放记忆(图片存入mysql数据库)
- MySQL中如何使用echo输出内容(mysql中echo)
- MySQL如何保证严格的语法规范探讨MySQL严格语法的实现方式(mysql严格语法)
- 在ASPNET中查询MySQL数据库(aspnet查mysql)
- MySQL开机自启动,导致占用系统资源严重解决方法不容错过(mysql一开机占用)
- MySQL学习使用 mysqlclose 函数关闭数据库连接(mysql_close6)
- 详细指南MySQL数据库下载及安装教程简述(mysql下载说明书)
- 轻松下载MySQL百度云提供您简便的MySQL下载服务(mysql下载 百度云)
- 同时查询多个MySQL数据库,让数据操作更高效(mysql两库同时查)
- 使用其他方法代替MySQL中的UNION联合查询(mysql不用union)