hive指定hadoop执行队列
2023-09-27 14:26:54 时间
指定队列的命令:
有三种:
set mapred.job.queue.name=queue3;
SET mapreduce.job.queuename=queue3;
set mapred.queue.names=queue3;
老版本一般 mapred开头
新版本是mapreduce开头
老版本对应的新版本参数可以查出来
队列自己设定,
测试时注意
select * from tb 不会产生map reduce,只是加载后直接展示cat。
要想启动MR工程,必须指定列名:
select item1 from tb
就可以产生MR了
实例代码:
set mapred.queue.names=queue3;
select advertiser_id,crt_id,a.media,city,price, b.media_id, b.ratio
from tb_pmp_report_log_count a
left join mapping_tb_4_media_with_ratio b on (a.media = b.media)
相关文章
- 大数据框架Hadoop主要模块介绍
- Hadoop MapReduce如何进行WordCount自主编译运行
- Hadoop中的java基本类型的序列化封装类
- 001.hadoop及hbase部署
- org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/page_view. Name node is in safe mode
- 《Spark与Hadoop大数据分析》——3.7 小结
- Hadoop-2.4.0分布式安装手冊
- Hadoop之后:大数据的未来
- 马士兵hadoop第五课:java开发Map/Reduce(转)
- Hadoop(九)Hadoop IO之Compression和Codecs
- 【Hadoop】HDFS小结
- 【Hadoop】HDFS原理、元数据管理
- Ubuntu 12.04上安装Hadoop并运行
- Hadoop/spark安装实战(系列篇2)安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录
- HA机制下的Hadoop配置
- 【原创 Hadoop&Spark 动手实践 4】Hadoop2.7.3 YARN原理与动手实践
- 大数据Hadoop(十七):MapReduce编程规范及示例编写