[Hadoop]Hive r0.9.0中文文档(三)之Hive相关命令
2023-09-14 08:56:50 时间
一、Hive命令选项
Usage:
下面的例子是做一个命令行的查询:
下面的例子是指定Hive配置查询:
下面的例子是将查询结果导入到文本文件:
下面的例子是使用SQL文件进行操作:
下面的例子是在进入交互式界面之前跑一个初始化的脚本:
二、hiverc file
例子:
四、Hive日志
Hive使用Log4j写日志,这些日志将不会以标准输出方式进行输出,默认情况Hive将使用hive-log4j,配置文件在conf目录下,日志输出在 /tmp/$USER/hive.log 下,日志级别为WARN。
为了Debug,你可以修改日志的输出格式以及改变日志的输出级别,你可以在命令行下使用以下命令:
hive.root.logger 指定了日志的级别以及日志输出位置,输出在控制台。这样日志不会输出到文件中。
五、Hive 资源
hive可以管理查询有效的附加资源到Session中。任何本地的acessible文件会加入到这个session,hive加载这个文件到session中后可以进行相关的map/reduce任务,hive使用haddop cache来处理被加载的文件。
文件资源仅被添加到目标cache中。Jar资源将被添加到Java classpath中。ARCHIVE资源将被自动添加来描述他们。
例如:
如果命令在所有节点上均有效就没有必要加入到Session中. For example:
cluster nodes.
HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】 今天咱先说问题,经过几天测试题的练习,我们有从某题库中找到了新题型,并且成功把我们干趴下,昨天今天就干了一件事,站起来。 java mapeduce 清洗 hive 中的数据 ,清晰之后将driver代码 进行截图提交。
【Hadoop技术篇】hive的优化,经典面试 1) 开启配置:set hive.optimize.bucketmapjoin = true; 2) 一个表的bucket数是另一个表bucket数的==整数倍== 3) bucket列 == join列 4) 满足map join条件
Usage:
Usage: hive [-hiveconf x=y]* [ -i filename ]* [ -f filename | -e query-string ] [-S] -i filename Initialization Sql from file (executed automatically and silently before any other commands) -e quoted query string Sql from command line -f filename Sql from file -S Silent mode in interactive shell where only data is emitted -hiveconf x=y Use this to set hive/hadoop configuration variables. -e and -f cannot be specified together. In the absence of these options, interactive shell is started. However, -i can be used with any other options. To see this usage help, run hive -h
下面的例子是做一个命令行的查询:
$HIVE_HOME/bin/hive -e select a.col from tab1 a
下面的例子是指定Hive配置查询:
$HIVE_HOME/bin/hive -e select a.col from tab1 a -hiveconf hive.exec.scratchdir=/home/my/hive_scratch -hiveconf mapred.reduce.tasks=32
下面的例子是将查询结果导入到文本文件:
$HIVE_HOME/bin/hive -S -e select a.col from tab1 a a.txt
下面的例子是使用SQL文件进行操作:
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
下面的例子是在进入交互式界面之前跑一个初始化的脚本:
$HIVE_HOME/bin/hive -i /home/my/hive-init.sql
二、hiverc file
如果没有-i参数,那么hive会直接进入命令行界面,同时会加载HIVE_HOME/bin/.hiverc and $HOME/.hiverc作为初始化所需要的文件
三、hive交互的Shell命令
Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will not show an error. set This will print a list of configuration variables that are overridden by user or hive. set -v This will print all hadoop and hive configuration variables. add FILE [file] [file]* Adds a file to the list of resources list FILE list all the files added to the distributed cache list FILE [file]* Check if given resources are already added to distributed cache ! [cmd] Executes a shell command from the hive shell dfs [dfs cmd] Executes a dfs command from the hive shell [query] Executes a hive query and prints results to standard out source FILE Used to execute a script file inside the CLI.
例子:
hive set mapred.reduce.tasks=32; hive set; hive select a.* from tab1; hive !ls; hive dfs -ls;
四、Hive日志
Hive使用Log4j写日志,这些日志将不会以标准输出方式进行输出,默认情况Hive将使用hive-log4j,配置文件在conf目录下,日志输出在 /tmp/$USER/hive.log 下,日志级别为WARN。
为了Debug,你可以修改日志的输出格式以及改变日志的输出级别,你可以在命令行下使用以下命令:
$HIVE_HOME/bin/hive -hiveconf hive.root.logger=INFO,console
hive.root.logger 指定了日志的级别以及日志输出位置,输出在控制台。这样日志不会输出到文件中。
五、Hive 资源
hive可以管理查询有效的附加资源到Session中。任何本地的acessible文件会加入到这个session,hive加载这个文件到session中后可以进行相关的map/reduce任务,hive使用haddop cache来处理被加载的文件。
ADD { FILE[S] | JAR[S] | ARCHIVE[S] } filepath1 [ filepath2 ]* LIST { FILE[S] | JAR[S] | ARCHIVE[S] } [ filepath1 filepath2 ..] DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } [ filepath1 filepath2 ..]
文件资源仅被添加到目标cache中。Jar资源将被添加到Java classpath中。ARCHIVE资源将被自动添加来描述他们。
例如:
hive add FILE /tmp/tt.py; hive list FILES; /tmp/tt.py hive from networks a MAP a.networkid USING python tt.py as nn where a.ds = 2009-01-04 limit 10;
如果命令在所有节点上均有效就没有必要加入到Session中. For example:
... MAP a.networkid USING wc -l ...: here wc is an executable available on all machines ... MAP a.networkid USING /home/nfsserv1/hadoopscripts/tt.py ...: here tt.py may be accessible via a nfs mount point thats configured identically on all the
cluster nodes.
HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】 今天咱先说问题,经过几天测试题的练习,我们有从某题库中找到了新题型,并且成功把我们干趴下,昨天今天就干了一件事,站起来。 java mapeduce 清洗 hive 中的数据 ,清晰之后将driver代码 进行截图提交。
【Hadoop技术篇】hive的优化,经典面试 1) 开启配置:set hive.optimize.bucketmapjoin = true; 2) 一个表的bucket数是另一个表bucket数的==整数倍== 3) bucket列 == join列 4) 满足map join条件
相关文章
- Navicat Premium 15 Mac(数据库开发工具)中文激活版
- spring中文文档下载_spring基础包
- plsqldev设置中文_plsql13安装以及配置
- spring官方文档 中文_Spring软件
- python rarfile不支持中文路径_python使用zipfile解压文件中文乱码问题
- Docker 离线安装_docker官方中文文档
- docker离线安装部署 linux_docker官方中文文档
- PTC Creo(三维设计软件)中文汉化版安装包下载,Creo永久使用
- Oracle文档中文版指南(oracle文档中文)
- 操作系统Linux汉化之旅(linux改为中文)
- MySQL中文帮助文档:解锁技术之路(mysql中文帮助文档)
- Oracle防火墙端口设置攻略,25字中文文章标题。(oracle防火墙端口)
- 官方文档PostgreSQL:正式中文文档(postgresql中文)
- C语言查询Oracle数据库中的中文信息(c oracle 查中文)
- MySQL 数据库不支持中文,如何处理(mysql不支持中文数据)
- Oracle 数据库中用中文进行智能搜索(oracle 中文搜索)
- 排查Oracle中文乱码问题的正确姿势(oracle个别中文乱码)
- 解决Redis读取中文乱码问题(redis 读取中文乱码)
- jQueryEasyUIAPI中文文档-Pagination分页
- jQueryEasyUIAPI中文文档-Draggable可拖拽
- PHP-redis中文文档介绍