像Excel一样使用SQL进行数据分析
2023-03-14 09:38:00 时间
Excel是数据分析中最常用的工具 ,利用Excel可以完成数据清洗,预处理,以及最常见的数据分类,数据筛选,分类汇总,以及数据透视等操作,而这些操作用SQL一样可以实现。SQL不仅可以从数据库中读取数据,还能通过不同的SQL函数语句直接返回所需要的结果,从而大大提高了自己在客户端应用程序中计算的效率。
1 重复数据处理
查找重复记录
- SELECT * FROM user
- Where (nick_name,password) in
- (
- SELECT nick_name,password
- FROM user
- group by nick_name,password
- having count(nick_name)>1
- );
查找去重记录
查找id最大的记录
- SELECT * FROM user
- WHERE id in
- (SELECT max(id) FROM user
- group by nick_name,password
- having count(nick_name)>1
- );
删除重复记录
只保留id值最小的记录
- DELETE c1
- FROM customer c1,customer c2
- WHERE c1.cust_email=c2.cust_email
- AND c1.id>c2.id;
- DELETE FROM user Where (nick_name,password) in
- (SELECT nick_name,password FROM
- (SELECT nick_name,password FROM user
- group by nick_name,password
- having count(nick_name)>1) as tmp1
- )
- and id not in
- (SELECT id FROM
- (SELECT min(id) id FROM user
- group by nick_name,password
- having count(nick_name)>1) as tmp2
- );
2 缺失值处理
查找缺失值记录
- SELECT * FROM customer
- WHERE cust_email IS NULL;
更新列填充空值
- UPDATE sale set city = "未知"
- WHERE city IS NULL;
- UPDATE orderitems set
- price_new=IFNULL(price_new,5.74);
查询并填充空值列
- SELECT AVG(price_new) FROM orderitems;
- SELECT IFNULL(price_new,5.74) AS bus_ifnull
- FROM orderitems;
3 计算列
更新表添加计算列
- ALTER TABLE orderitems ADD price_new DECIMAL(8,2) NOT NULL;
- UPDATE orderitems set price_new= item_price*count;
查询计算列
- SELECT item_price*count as sales FROM orderitems;
4 排序
多列排序
- SELECT * FROM orderitems
- ORDER BY price_new DESC,quantity;
查询排名前几的记录
- SELECT * FROM orderitems
- ORDER BY price_new DESC LIMIT 5;
查询第10大的值
- SELECT DISTINCT price_new
- FROM orderitems
- ORDER BY price_new DESC LIMIT 9,1;
排名
数值相同的排名相同且排名连续
- SELECT prod_price,
- (SELECT COUNT(DISTINCT prod_price)
- FROM products
- WHERE prod_price>=a.prod_price
- ) AS rank
- FROM products AS a
- ORDER BY rank ;
5 字符串处理
字符串替换
- UPDATE data1 SET city=REPLACE(city,'SH','shanghai');
- SELECT city FROM data1;
按位置字符串截取
字符串截取可用于数据分列
MySQL 字符串截取函数:left(), right(), substring(), substring_index()
- SELECT left('example.com', 3);
从字符串的第 4 个字符位置开始取,直到结束
- SELECT substring('example.com', 4);
从字符串的第 4 个字符位置开始取,只取 2 个字符
- SELECT substring('example.com', 4, 2);
按关键字截取字符串
取第一个分隔符之前的所有字符,结果是www
- SELECT substring_index('www.google.com','.',1);
取倒数第二个分隔符之后的所有字符,结果是google.com;
- SELECT substring_index('www.google.com','.',-2);
6 筛选
通过操作符实现高级筛选
使用 AND OR IN NOT 等操作符实现高级筛选过滤
- SELECT prod_name,prod_price FROM Products
- WHERE vend_id IN('DLL01','BRS01');
- SELECT prod_name FROM Products WHERE NOT vend_id='DLL01';
通配符筛选
常用通配符有% _ [] ^
- SELECT * from customers WHERE country LIKE "CH%";
7 表联结
SQL表连接可以实现类似于Excel中的Vlookup函数的功能
- SELECT vend_id,prod_name,prod_price
- FROM Vendors INNER JOIN Products
- ON Vendors.vend_id=Products.vend_id;
- SELECT prod_name,vend_name,prod_price,quantity
- FROM OderItems,Products,Vendors
- WHERE Products.vend_id=Vendors.vend_id
- AND OrderItems.prod_id=Products.prod_id
- AND order_num=20007;
自联结 在一条SELECT语句中多次使用相同的表
- SELECT c1.cust_od,c1.cust_name,c1.cust_contact
- FROM Customers as c1,Customers as c2
- WHERE c1.cust_name=c2.cust_name
- AND c2.cust_contact='Jim Jones';
8 数据透视
数据分组可以实现Excel中数据透视表的功能
数据分组
group by 用于数据分组 having 用于分组后数据的过滤
- SELECT order_num,COUNT(*) as items
- FROM OrderItems
- GROUP BY order_num HAVING COUNT(*)>=3;
交叉表
通过CASE WHEN函数实现
- SELECT data1.city,
- CASE WHEN colour = "A" THEN price END AS A,
- CASE WHEN colour = "B" THEN price END AS B,
- CASE WHEN colour = "C" THEN price END AS C,
- CASE WHEN colour = "F" THEN price END AS F
- FROM data1
相关文章
- 在 Go 里用 CGO?这 7 个问题你要关注!
- 9款优秀的去中心化通讯软件 Matrix 的客户端
- 求职数据分析,项目经验该怎么写
- 在OKR中,我看到了数据驱动业务的未来
- 火山引擎云原生大数据在金融行业的实践
- OpenHarmony富设备移植指南(二)—从postmarketOS获取移植资源
- 《数据成熟度指数》报告:64%的企业领袖认为大多数员工“不懂数据”
- OpenHarmony 小型系统兼容性测试指南
- 肯睿中国(Cloudera):2023年企业数字战略三大趋势预测
- 适用于 Linux 的十大命令行游戏
- GNOME 截图工具的新旧截图方式
- System76 即将推出的 COSMIC 桌面正在酝酿大变化
- 2GB 内存 8GB 存储即可流畅运行,Windows 11 极致精简版系统 Tiny11 发布
- 迎接 ecode:一个即将推出的具有全新图形用户界面框架的现代、轻量级代码编辑器
- loongarch架构介绍(三)—地址翻译
- Go 语言怎么解决编译器错误“err is shadowed during return”?
- 敏捷:可能被开发人员遗忘的部分
- Denodo预测2023年数据管理和分析的未来
- 利用数据推动可持续发展
- 在 Vue3 中实现 React 原生 Hooks(useState、useEffect),深入理解 React Hooks 的