zl程序教程

您现在的位置是:首页 >  其他

当前栏目

【SQL开发实战技巧】系列(十一):拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数

案例SQL开发 函数 系列 实战 技巧 常用
2023-09-14 09:10:48 时间

系列文章目录

【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事
【SQL开发实战技巧】系列(二):简单单表查询
【SQL开发实战技巧】系列(三):SQL排序的那些事
【SQL开发实战技巧】系列(四):从执行计划讨论UNION ALL与空字符串&UNION与OR的使用注意事项
【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS 和 INNER JOIN效率,我们要分场景不要死记网上结论
【SQL开发实战技巧】系列(六):从执行计划看NOT IN、NOT EXISTS 和 LEFT JOIN效率,记住内外关联条件不要乱放
【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及对应条数聊起
【SQL开发实战技巧】系列(八):聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
【SQL开发实战技巧】系列(九):一个update误把其他列数据更新成空了?Merge改写update!给你五种删除重复数据的写法!
【SQL开发实战技巧】系列(十):从拆分字符串、替换字符串以及统计字符串出现次数说起
【SQL开发实战技巧】系列(十一):拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数
【SQL开发实战技巧】系列(十二):三问(如何对字符串字母去重后按字母顺序排列字符串?如何识别哪些字符串中包含数字?如何将分隔数据转换为多值IN列表?)
【SQL开发实战技巧】系列(十三):讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加
【SQL开发实战技巧】系列(十四):计算消费后的余额&计算银行流水累计和&计算各部门工资排名前三位的员工
【SQL开发实战技巧】系列(十五):查找最值所在行数据信息及快速计算总和百之max/min() keep() over()、fisrt_value、last_value、ratio_to_report
【SQL开发实战技巧】系列(十六):数据仓库中时间类型操作(初级)日、月、年、时、分、秒之差及时间间隔计算
【SQL开发实战技巧】系列(十七):数据仓库中时间类型操作(初级)确定两个日期之间的工作天数、计算—年中周内各日期出现次数、确定当前记录和下一条记录之间相差的天数
【SQL开发实战技巧】系列(十八):数据仓库中时间类型操作(进阶)INTERVAL、EXTRACT以及如何确定一年是否为闰年及周的计算
【SQL开发实战技巧】系列(十九):数据仓库中时间类型操作(进阶)如何一个SQL打印当月或一年的日历?如何确定某月内第一个和最后—个周内某天的日期?
【SQL开发实战技巧】系列(二十):数据仓库中时间类型操作(进阶)获取季度开始结束时间以及如何统计非连续性时间的数据
【SQL开发实战技巧】系列(二十一):数据仓库中时间类型操作(进阶)识别重叠的日期范围,按指定10分钟时间间隔汇总数据
【SQL开发实战技巧】系列(二十二):数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式
【SQL开发实战技巧】系列(二十三):数仓报表场景☞ 如何对数据排列组合去重以及通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高
【SQL开发实战技巧】系列(二十四):数仓报表场景☞通过案例执行计划详解”行转列”,”列转行”是如何实现的
【SQL开发实战技巧】系列(二十五):数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组
【SQL开发实战技巧】系列(二十六):数仓报表场景☞聊聊ROLLUP、UNION ALL是如何分别做分组合计的以及如何识别哪些行是做汇总的结果行



前言

本篇文章讲解的主要内容是:如何使用translate或regexp_replace提取姓名的大写首字母缩写、如何使用translate或regexp_replace按字符串中的数值排序、如何聚合表中的行创建一个以逗号分隔拼接的字符串(函数LISTAGG、wmsys.wm_concat)、如何使用substr或regexp_substr提取第N个分隔符的子串、如何分解IP地址。
【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。


一、如何使用translate或regexp_replace提取姓名的大写首字母缩写

现在有一个需求:将下面临时表中的首大写字母,中间加".“显示为"Z.Y.D”:

with t as(
select 'Zhao Yan Dong' as aa from dual
)

我们可以利用regexp_replace的分组替换功能:

with t as(
select 'Zhao Yan Dong' as aa from dual
)
select regexp_replace(aa,'([[:upper:]])(.*)([[:upper:]])(.*)([[:upper:]])(.*)','\1.\3.\5') from t;
REGEXP_REPLACE(AA,'([[:UPPER:]])(.*)([[:UPPER:]])(.*)([[:UPPER:]])(.*)','\1.\3.\
--------------------------------------------------------------------------------
Z.Y.D

括号()将子表达式分组为一个替换单元、量词单元或后向引用单元。
在这个查询中,我们用()把符串分成了6个组,其中第1、3、5组中是大写字母,然后通过后向引用'\1.\3.\5'就分别取到了3个组的大写字母,并在中间增加了字符’.'。
也可以用前面介绍的translate函数。

SQL> 
SQL> with t as(
  2  select 'Zhao Yan Dong' as aa from dual
  3  )
  4  select translate(aa,1||' '||lower(aa),'1.') from t;

TRANSLATE(AA,1||''||LOWER(AA),'1.')
----------------------------------------------------------------
Z.Y.D

这个逻辑大家应该可以看得明白!

二、如何实现按字符串中的数字或字母排序

有下面一个临时表:

SQL> 
SQL> with t as (
  2  select dname||deptno||loc as aa
  3  from dept
  4  )
  5  select * from t;

AA
-------------------------------------------------------------------
ACCOUNTING10NEW YORK
RESEARCH20DALLAS
SALES30CHICAGO
OPERATIONS40BOSTON

现在有个需求:想根据aa字段中的数值去排序!那么怎么做?
我们可以用正则表达式替换非数字字符,语句如下:

with t as
 (select dname || deptno || loc as aa from dept)
select regexp_replace(aa, '[^[:digit:]]') as newaa, aa from t order by 1;

NEWAA                                                                            AA
-------------------------------------------------------------------------------- -------------------------------------------------------------------
10                                                                               ACCOUNTING10NEW YORK
20                                                                               RESEARCH20DALLAS
30                                                                               SALES30CHICAGO
40                                                                               OPERATIONS40BOSTON

也可以用translate函数,直接替换掉非数字字符:

SQL> with t as
  2   (select dname || deptno || loc as aa from dept)
  3  select translate(aa,'0123456789'||aa,'0123456789') as newaa, aa from t order by 1;

NEWAA                                                                            AA
-------------------------------------------------------------------------------- -------------------------------------------------------------------
10                                                                               ACCOUNTING10NEW YORK
20                                                                               RESEARCH20DALLAS
30                                                                               SALES30CHICAGO
40                                                                               OPERATIONS40BOSTON

三、如何聚合表中的行创建一个以逗号分隔拼接的字符串

现在有一个需求:将emp表相同部门的员工以逗号分隔合并到一起!!!
可能很多人已使用过wmsys.wm_concat函数,但wmsys.wm_concat是一个非公开函数,具有不确定性(返回值原来是varchar,Oracle11.2下就成了clob)。从Oracle11.2开始就有了分析函数listagg来替代它,到了Oracle 12C+及以后,wmsys.wm_concat函数已经被遗弃了,所以建议各位不要再使用这个函数了!至于listagg函数对于拼接超过4000长度的字符会报错问题,可以看博主这篇博客:
通过wm_concat 函数报错:ora06502-character string buffer to small浅谈wm_concat、Listagg、xmlagg函数的使用和结果不确定性
扯远了,接下来用listagg函数来实现上面的需求

SQL> select deptno,listagg(ename,',') within group(order by empno) as yonghu
  2  from emp
  3  group by deptno;

DEPTNO YONGHU
------ --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER
    20 SMITH,JONES,SCOTT,ADAMS,FORD
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES
       test

四、如何使用substr或regexp_substr提取第N个分隔符的子串

有如下临时表,每个部门的员工以逗号分隔:

SQL> select deptno,listagg(ename,',') within group(order by empno) as yonghu
  2  from emp where deptno is not null
  3  group by deptno;

DEPTNO YONGHU
------ --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER
    20 SMITH,JONES,SCOTT,ADAMS,FORD
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES

现在有一个需求:将上面临时表第二个子串取出来当作一列

没有正则表达式之前需要找到逗号的对应位置,然后对字符串进行截取:

with t as
 (select deptno, listagg(ename, ',') within group(order by empno) as yonghu
    from emp
   where deptno is not null
   group by deptno),
t1 as
 (select deptno,
         yonghu,
         instr(yonghu, ',', 1, 1) as 第一个逗号位置,
         instr(yonghu, ',', 1, 2) as 第二个逗号位置
    from t)    
select deptno,
       yonghu,
       case
         when 第二个逗号位置 = 0 then
          substr(yonghu, 第二个逗号位置 + 1)
         else
          substr(yonghu,
                 第一个逗号位置 + 1,
                 第二个逗号位置 - 第一个逗号位置 - 1)
       end as newstr
  from t1;
  
DEPTNO YONGHU                                                                           NEWSTR
------ -------------------------------------------------------------------------------- --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER                                                                KING
    20 SMITH,JONES,SCOTT,ADAMS,FORD                                                     JONES
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES                                             WARD

而使用正则表达式就很简单了!!!看下面写法

with t as (
select deptno,listagg(ename,',') within group(order by empno) as yonghu
from emp where deptno is not null
group by deptno)
select  deptno,yonghu,regexp_substr(yonghu,'[^,]+',1,2) as sub from t;

DEPTNO YONGHU                                                                           SUB
------ -------------------------------------------------------------------------------- --------------------------------------------------------------------------------
    10 CLARK,KING,MILLER                                                                KING
    20 SMITH,JONES,SCOTT,ADAMS,FORD                                                     JONES
    30 ALLEN,WARD,MARTIN,BLAKE,TURNER,JAMES                                             WARD

怎么样,有些时候用正则实现起来一些复杂的需求是不是特简单!!!这就是为啥博主钟爱正则的原因!

五、分解IP地址

现在有一个ip

with t as
 (select '192.168.1.102' as ip from dual)

现在有个需求,要将这个ip以’.'拆分开来,那么使用传统的substr比较麻烦,但是正则的话就很简单,给出下面结果:

select regexp_count(ip, '\.'), regexp_substr(ip, '[^.]+', 1, level)
  from t
connect by level <= regexp_count(ip, '\.');
REGEXP_COUNT(IP,'\.') REGEXP_SUBSTR(IP,'[^.]+',1,LEVEL)
--------------------- ----------------------------------------------------------------
                    3 192
                    3 168
                    3 1

当然,如果一个表里有多条数据,你这么写会发现问题,比如下面这个sql

with t as
 (
 select '192.168.1.102' as ip from dual
 union all
  select '10.1.1.103' as ip from dual
 )
select regexp_count(ip, '\.'), regexp_substr(ip, '[^.]+', 1, level)
  from t
connect by level <= regexp_count(ip, '\.');
REGEXP_COUNT(IP,'\.') REGEXP_SUBSTR(IP,'[^.]+',1,LEVEL)
--------------------- ---------------------------------
                    3 192
                    3 168
                    3 1
                    3 1
                    3 1
                    3 1
                    3 1
                    3 10
                    3 168
                    3 1
                    3 1
                    3 1
                    3 1
                    3 1

14 rows selected

有没有发现你看不懂了???这个问题后面文章会解释,给大家介绍如何应对多行情况,现在先给大家留个念想~😁😁😁


总结

本篇文章相对上一篇数据处理文章有一定难度,但也是工作中常用的高级处理方式,我也算复习了一遍!