mysql和workbench在windows的安装和使用
在实操大数据之前,我们可以先在本地进行一些小型数据库的操作,对sql和spark进行一些初步了解。本文就先介绍下mysql和workbenck的安装和使用,以及介绍python链接数据库的操作。后续文章再介绍详细的使用python对库表的sql操作,以及spark计算。
1. mysql安装和使用
按照指示操作默认安装,在安装时,MySQL会要求我们设置一个本地登陆账号,账号名一般命为root,端口为3306,自定义一个password即可。
官方下载MySQL Installer:
下载后按照步骤安装,安装完成后启动
输入密码就可以进入啦~
2. workbenck安装和使用
官方下载链接:https://dev.mysql.com/downloads/workbench/
按照步骤进行安装,安装完成后启动
输入设置的mysql的密码进入,然后创建一个schema
创建后,在左侧Schemas的tab就能看见创建的数据库了,然后就可以在里面创建自己的tables。
3. python链接数据库
3.1 链接数据库
由于 MySQL 服务器以独立的进程运行,并通过网络对外服务,所以,需要支持 Python 的 MySQL 驱动来连接到 MySQL 服务器。
目前,有两个 MySQL 驱动:
1. mysql-connector-python:是 MySQL 官方的纯 Python 驱动
2. MySQL-python :是封装了 MySQL C驱动的 Python 驱动
我们用python链接,所以需要pip库
install mysql-connector-python
mysql安装我们已经有了用户名和密码, 因为链接的本地数据库,所以ip:port默认是localhost:3306,在workbenck里面我们已经创建了一个数据库test。
使用代码创建数据库链接:
config = {
'user' : 'root', #用户名
'password' : '123456', #自己设定的密码
'host' : '127.0.0.1', #ip地址,本地填127.0.0.1,也可以填localhost
'port' : '3306', #端口,本地的一般为3306
'database' : 'test', #数据库名字,这里选用test
}
con = mysql.connector.connect(**config)
# buffered = True 不设的话,查询结果没有读完会报错
# raise errors.InternalError("Unread result found")
mycursor = con.cursor(buffered = True)
3.2 创建库表
通过执行sql语句,创建库表以及往表内插入数据:
def create_table_test(table_name):
# 创建一个表
sql = "CREATE TABLE %s (id INT AUTO_INCREMENT PRIMARY KEY, \
name VARCHAR(255) , address VARCHAR(255), \
sex VARCHAR(225) , age INT(10) , sl INT(10))"%(table_name)
mycursor.execute(sql)
def insert_table_test(table_name):
# 往表里插入一些记录
sql = "INSERT INTO " + table_name + "(name,address,sex,age,sl) VALUES(%s,%s,%s,%s,%s)"
# print("sql", sql)
val = ("zhangsan", "beijing", "M", 23, 30000)
mycursor.execute(sql, val)
val = ("lisi", "shanghai", "F", 23, 30000)
mycursor.execute(sql, val)
val = [("zhangsan", "shenzhen", "M", 35, 30000),
("zhangsan", "beijing", "M", 28, 30000),
("zhangsan", "aomen", "F", 30, 40000),
("zhangsan", "hongkang", "M", 35, 30000),
("zhangsan", "taiwan", "M", 32, 20000)]
mycursor.executemany(sql, val)
con.commit()
3.3 导入excel到库表
如果有大量数据,通过以上插入就比较麻烦, 我们也可以通过导入本地,这里就需要使用ORM技术。
ORM技术:Object-Relational Mapping,把关系数据库的表结构映射到对象上。在Python中,最有名的ORM框架是SQLAlchemy。
我们先安装SQLAlchemy:
pip install sqlalchemy
pip install pandas
为了方便,我们先在workbenck里创建sql_test表,
右键-->create table。
然后执行如下代码:
import pandas as pd
from sqlalchemy import create_engine
import pymysql
excelFile = r'F:\spark_code\my_sql_test.xlsx'
def create_table_from_excel():
df = pd.DataFrame(pd.read_excel(excelFile))
engine =create_engine('mysql+pymysql://root:123456@localhost:3306/test')
df.to_sql('sql_test',con=engine,if_exists='replace',index=False)
参考:
相关文章
- MySQL Error number: MY-011816; Symbol: ER_VALIDATE_PWD_STRING_CONV_TO_LOWERCASE_FAILED; SQLSTATE: HY000 报错 故障修复 远程处理
- MySQL连接远程数据库的步骤与方法(mysql怎么连接远程数据库)
- 和使用mysql实现Linux服务端上MySQL安装与使用(在linux服务端安装)
- 快速安装MySQL解压版(mysql解压版安装)
- MySQL安装入门:探索几种实用方法(mysql几种安装方法)
- 密码忘记忘记MySQL数据库用户名密码?不要慌!(mysql数据库用户名)
- MySQL如何设置显示格式(mysql设置显示)
- MySQL如何监控和解决锁表问题?(mysql监控锁表)
- MySQL服务手动安装教程(mysql手动安装服务)
- MySQL实现数据随机获取,让数据随机排序成为可能。(mysql随机获取数据)
- 快速上手MySQL安装配置,让你轻松管理数据库(mysql安装之后)
- MySQL加入服务:快速安装步骤(mysql添加到服务)
- Ajax技术实现MySQL数据查询与更新(ajax连接mysql)
- Learn How to Install MySQL Using Wget in 5 Easy Steps(wget安装mysql)
- MySQL MSI 安装包下载及安装方法(mysql msi 下载)
- MySQL迁移至MS SQL – 营造更稳固的数据库环境(mysql 转mssql)
- MySQL免安装快速配置,一步到位!(mysql免安装配置)
- MySQL中小表的概念及优点简介(mysql中什么是小表)
- MySQL中long字段类型是什么(mysql中long么)
- MySQL中使用事务保持数据一致性(c mysql的事务)
- MySQL的高性能缓存Cache缓存新解决方案(cache缓存mysql)
- 快速使用apt安装MySQL数据库(apt 安装mysql)
- 如何使用cmd快速安装MySQL(cmd安装mysql教程)
- 在cmd命令行环境下安装MySQL(cmd 下安装mysql)
- MySQL如何安装并不升级(mysql不升级安装)
- 不以开头的MySQL了解MySQL中的其他重要指令(mysql 不以开头)
- MySQL快速安装到启动的全程指南(mysql下载安装启动)
- MySQL安装要求不符合,如何解决(mysql不满足安装要求)