[数据库]Oracle数据迁移至HIVE(待续)
2023-09-27 14:24:41 时间
step1 导出csv数据,并
call sql_to_csv('select * from BE_JJZKJCQKTJ', 'OUT_PATH', 'DA.BE_JJZKJCQKTJ.csv');
// or python
step2 删表,重新创表 或 清空表
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx 'hive -e "truncate table da.ai_zjycdb;"'
step3 上传csv数据文件到 hive数据库服务器,对非ASCII编码的csv文件转码 (UTF-8 转 GB18030)
sshpass -p 'helloWorld' scp -P 22 -r /root/dataMining/csv/* datamining@10.100.yyy.xxx:/opt/ai/csv/
[附]
file -i fileName
iconv -f GB18030 -t UTF-8 /opt/ai/csv/ai_zjycdb.csv > /opt/da_transfer/ai_zjycdb.csv
step4 对csv文件的数据行的内容,去除引号
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx sed -i 's/"//g' /opt/da_transfer/ai_zjycdb.csv;
step5 加载csv数据到hive数据库
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx hive -e "load data local inpath '/opt/da_transfer/ai_zjycdb.csv' into table ai_zjycdb;"
相关文章
- java+SWT+Oracle做的一款类似于QQ的实时通讯软件
- Confluence 6 Oracle 测试你的数据库连接
- Centos7 + 麒麟v10安装oracle瘦客户端
- Oracle中的数据迁移到Mysql数据库中的方式Navicat premium工具
- Oracle—用户管理的完全恢复(一)
- Ubuntu-12.04.5 再再再次安装 oracle 11.2.0.4 数据库database软件(又不一样了!)
- 重装系统后ORACLE数据库恢复的方法
- Oracle数据库用户锁定原因以及处理方式(ORA-28000)
- oracle_使用子查询创建表
- 数据库迁移之从oracle 到 MySQL
- 【Oracle】使用bbed手动提交事务
- Oracle 11gR2 rac 的各项服务说明
- Oracle数据库面试题(转)
- oracle connect by用法
- 【oracle 按照 2 个字段分区 over(partition by A,B order by C)】