[转] hive0.14-insert、update、delete操作测试
FROM : http://blog.csdn.net/hi_box/article/details/40820341
首先用最普通的建表语句建一个表:
- hive>create table test(id int,name string)row format delimited fields terminated by ',';
测试insert:
- insert into table test values (1,'row1'),(2,'row2');
结果报错:
- java.io.FileNotFoundException: File does not exist: hdfs://127.0.0.1:9000/home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/
- apache-hive-0.14.0-SNAPSHOT-bin/lib/curator-client-2.6.0.jar
- at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1128)
- at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1120)
- at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
- at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1120)
- at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
- at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
- at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:99)
- at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)
- at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:265)
- at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:301)
- at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:389)
- at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)
- at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)
- at java.security.AccessController.doPrivileged(Native Method)
- ......
貌似往hdfs上找jar包了,小问题,直接把lib下的jar包上传到hdfs
- hadoop fs -mkdir -p /home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/apache-hive-0.14.0-SNAPSHOT-bin/lib/
- hadoop fs -put $HIVE_HOME/lib/* /home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/apache-hive-0.14.0-SNAPSHOT-bin/lib/
接着运行insert,没有问题,接下来测试delete
- hive>delete from test where id = 1;
报错!:
FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations.
说是在使用的转换管理器不支持update跟delete操作。
原来要支持update操作跟delete操作,必须额外再配置一些东西,见:
根据提示配置hive-site.xml:
- hive.support.concurrency – true
- hive.enforce.bucketing – true
- hive.exec.dynamic.partition.mode – nonstrict
- hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
- hive.compactor.initiator.on – true
- hive.compactor.worker.threads – 1
配置完以为能够顺利运行了,谁知开始报下面这个错误:
- FAILED: LockException [Error 10280]: Error communicating with the metastore
与元数据库出现了问题,修改log为DEBUG查看具体错误:
- 2014-11-04 14:20:14,367 DEBUG [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(265)) - Going to execute query <select cq_id,
- cq_database, cq_table, cq_partition, cq_type, cq_run_as from COMPACTION_QUEUE where cq_state = 'r'>
- 2014-11-04 14:20:14,367 ERROR [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(285)) - Unable to select next element for cleaning,
- Table 'hive.COMPACTION_QUEUE' doesn't exist
- 2014-11-04 14:20:14,367 DEBUG [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(287)) - Going to rollback
- 2014-11-04 14:20:14,368 ERROR [Thread-8]: compactor.Cleaner (Cleaner.java:run(143)) - Caught an exception in the main loop of compactor cleaner, MetaException(message
- :Unable to connect to transaction database com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.COMPACTION_QUEUE' doesn't exist
- at sun.reflect.GeneratedConstructorAccessor19.newInstance(Unknown Source)
- at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
- at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
- at com.mysql.jdbc.Util.handleNewInstance(Util.java:409)
在元数据库中找不到COMPACTION_QUEUE这个表,赶紧去mysql中查看,确实没有这个表。怎么会没有这个表呢?找了很久都没找到什么原因,查源码吧。
在org.apache.hadoop.hive.metastore.txn下的TxnDbUtil类中找到了建表语句,顺藤摸瓜,找到了下面这个方法会调用建表语句:
- private void checkQFileTestHack() {
- boolean hackOn = HiveConf.getBoolVar(conf, HiveConf.ConfVars.HIVE_IN_TEST) ||
- HiveConf.getBoolVar(conf, HiveConf.ConfVars.HIVE_IN_TEZ_TEST);
- if (hackOn) {
- LOG.info("Hacking in canned values for transaction manager");
- // Set up the transaction/locking db in the derby metastore
- TxnDbUtil.setConfValues(conf);
- try {
- TxnDbUtil.prepDb();
- } catch (Exception e) {
- // We may have already created the tables and thus don't need to redo it.
- if (!e.getMessage().contains("already exists")) {
- throw new RuntimeException("Unable to set up transaction database for" +
- " testing: " + e.getMessage());
- }
- }
- }
- }
什么意思呢,就是说要运行建表语句还有一个条件:HIVE_IN_TEST或者HIVE_IN_TEZ_TEST.只有在测试环境中才能用delete,update操作,也可以理解,毕竟还没有开发完全。
终于找到原因,解决方法也很简单:在hive-site.xml中添加下面的配置:
- <property>
- <name>hive.in.test</name>
- <value>true</value>
- </property>
OK,再重新启动服务,再运行delete:
- hive>delete from test where id = 1;
又报错:
- FAILED: SemanticException [Error 10297]: Attempt to do update or delete on table default.test that does not use an AcidOutputFormat or is not bucketed
说是要进行delete操作的表test不是AcidOutputFormat或没有分桶。估计是要求输出是AcidOutputFormat然后必须分桶
网上查到确实如此,而且目前只有ORCFileformat支持AcidOutputFormat,不仅如此建表时必须指定参数('transactional' = true)。感觉太麻烦了。。。。
于是按照网上示例建表:
- hive>create table test(id int ,name string )clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='true');
insert
- hive>insert into table test values (1,'row1'),(2,'row2'),(3,'row3');
delete
- hive>delete from test where id = 1;
update
- hive>update test set name = 'Raj' where id = 2;
OK!全部顺利运行,不过貌似效率太低了,基本都要30s左右,估计应该可以优化,再研究研究
最后还有个问题:show tables时报错:
- hive> show tables;
- OK
- tab_name
- Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: fcitx-socket-:0
- Time taken: 0.064 seconds
好像跟/tmp/下fcitx-socket-:0文件名有关,待解决。。。
相关文章
- 自动化测试之路 —— Appium安装教程
- 得物App订单配置类文案测试右移实践
- 什么是pisa测试_什么是pisa考试?
- 同步测试
- 测试人!当遇到bug该怎么分析,字节5年老司机是这么秀操作的...
- WIN10系统开机一个WIFI都找不到,网络适配器里没有WLAN驱动,连接不了网络问题【耗时3天测试10多种方法】
- 自动化测试框架[Cypress结合Allure生成测试报告]
- Google 测试总监聊如何经营成功的测试职业生涯
- 【说站】Python测试前置操作的方法
- 使用hardhat 开发以太坊智能合约-测试合约
- 测试平台分支-小程序端-2-第一个接口(下)地址导航
- 测试中简单的数据库操作-pymysql入门
- 用flask自建网站测试python和excel爬虫
- 2分钟!使用小站工具,就能用鼠标点出火山图和GSEA图~回复:我要测试。领取测试数据玩起来吧~
- 性能测试案例与经验分享
- 【测试开发】python系列教程:迭代器与生成器
- 【Flutter】HTTP 网络操作 ( 引入 http 插件 | 测试网站 | Get 请求 | Post 请求 | 将响应结果转为 Dart 对象 | Future 异步调用 )
- 【Redis】使用 Jedis 操作 Redis 数据库 ① ( Gradle 导入 Jedis | Maven 导入 Jedis | 创建 Maven 工程并导入 Jedis 依赖 | 测试链接 )
- MongoDB分片测试
- macOS上Redis的安装与测试操作
- oracle误drop/update操作后的数据恢复测试
- Android 12简化了电源菜单功能选项 引发大量测试用户不满
- 谷歌浏览器在金丝雀版里测试地址栏快捷命令 可以用来快速加载操作
- 测试MySQL查询功能的必要性(mysql查询测试)
- 测试Linux系统读写速度的简单方法(linux测读写速度)
- MySQL与JMeter联手实现高效测试(mysqljmeter)
- 操作更新数据库:Oracle操作UPDATE(oracle数据库update)
- 为什么测试对云原生流水线不再足够
- 利用Burp Suite对OWASP Juice Shop进行渗透测试
- SQL Server性能测试:激发更多发挥空间(sqlserver测评)
- 研究Oracle内置测试用户的特点(oracle内置测试用户)
- JDBC测试Oracle数据库的简单操作(jdbc测试oracle)
- Redis访问量大测挑战压力极限(redis访问量压力测试)
- 又双叒重启,iOS 10.2.1小漏洞集锦 | 宅客爱测试
- Java中对AtomicInteger和int值在多线程下递增操作的测试