Hive的4种排序
1、全局排序(Order by)
功能:全局排序,只有1个reducer(用1个Reduce Task完成全局排序,与设置的Reduce Task个数无关)
参数:ASC:升序(默认) DESC:降序
使用:order by放在select语句的结尾
例如:
--查询员工信息按工资降序排列
select * from emp order by sal DESC;
2、每个MapReduce内部排序(Sort by)
功能:很多情况下不需要全局排序,此时可以使用sort by。sort by为每个reducer产生一个排序文件,每个reducer内部进行排序,不对全局结果集进行排序
参数:设置reduce个数:set mapreduce.job.reduces=3;
例如:
--根据部门编号降序查看员工信息
select * from emp sort by deptno desc;
3、分区排序(Distribute by)
功能:类似mr中的自定义分区
使用:结合sort by使用,写在sort by语句之前
分区规则:根据分区字段的Hash码与reduce的个数进行模除后,余数相同的分到一个区
例如:
--先按照部门编号分区,再按照员工编号降序排序。
select * from emp distribute by deptno sort by empno desc;
4、Cluster by
功能:当distribute by和sorts by字段相同时,可以使用cluster by方式
使用:cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC
例如:
--以下两种写法等价
select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;
相关文章
- 从本体论开始说起——运营商关系图谱的构建及应用
- 如何成为一名数据科学家?
- 从未见过的堂兄杀了人,你的DNA是关键证据
- 20个安全可靠的免费数据源,各领域数据任你挑
- 20个安全可靠的免费数据源,各领域数据任你挑
- 阿里云李飞飞:All in Cloud时代,云原生数据库优势明显
- 基于Hadoop生态系统的一高性能数据存储格式CarbonData(性能篇)
- 大数据告诉你:10年漫威,到底有多少角色
- TigerGraph:实时图数据库助力金融风控升级
- Splunk利用Splunk Connected Experiences和Splunk Business Flow 扩大数据访问
- 大数据开发常见的9种数据分析手段
- 以免在景区看人,我爬了5W条全国景点门票数据...
- 【实战解析】基于HBase的大数据存储在京东的应用场景
- 数据科学家告诉你哪些计算机科学书籍是你应该看的
- Kafka作为大数据的核心技术,你了解多少?
- Spring Boot 整合 Redis 实现缓存操作
- 大数据学习必须掌握的五大核心技术有哪些?
- 基于Antlr在Apache Flink中实现监控规则DSL化的探索实践
- 甲骨文再次被Gartner评为分析型数据管理解决方案魔力象限领导者
- 爬取吴亦凡微博102118条转发数据,扒一扒流量的真假