SQLServer2PostgreSQL迁移过程中的几个问题
1、PostgreSQL 跨平台迁移工具Migration Toolkit的使用指南:http://www.enterprisedb.com/docs/en/8.4/mtkguide/Table%20of%20Contents.htm#TopOfPage
2、可能是程序的问题,迁移工具会把jtds驱动连接字符串认为是Oracle去连接,Google以后:http://my.oschina.net/congqian/blog/106518,找到这个指令指定数据源类型的方式来做操作:
Java -Dprop=toolkit.properties -jar lib/edb-migrationtoolkit.jar -sourcedbtype sqlserver -targetdbtype postgresql -allTables -targetSchema public dbo
3、用上面的工具迁移的过程中,我所发现的能够阻碍整个表迁移的问题是类型匹配问题,MSSQL的bit类型在Postgresql建表的过程中被建为boolean字段,但是数据加载的过程中却报错:完全无法把bit数据转化为boolean数据.我刚开始准备写Python脚本迁移这几个表,后来发现问题比较单一,直接把源表里的bit类型转化为smartint类型,然后迁移过来,准备再Postgresql里面再回去。(后加)比较诡异的是其中一个表的bit类型转移过去了,但是数据库的bit和Java代码中Byte类型无法兼容,还是得把字段类型改成smallini
4、接着上面问题说,3所做的数据迁移完成以后,修改了Web应用数据源配置文件,启动Web应用,做了几个前面改了类型的表的读写测试,发现正常可用,原来之前SQLServer中bit类型自动生成的hibernate ORM配置文件中bit对应的类型是java.lang.Byte,Byte是8位字节,smallint恰好也是8位,正好可以兼容可用。算是一个偶然运气事件吧。
5、再说一个问题,之前工具数据迁移的时候,系统经常提醒说UTF-8编码问题,我以为迁移过程中所有字符串数据自动会转换成UTF-8的数据,而Web应用之前是GBK编码,所以猜想是不是迁移完还得做编码集全体转换成UTF-8,但实际发现并不是这样,连之前用python在SQLServer里面查询出来带U字头的字符串,在Postgresql里面查出来好像已经不带U字头了。
6、RHEL6.0的PostgresSQL二进制版本的安装目录是/var/lib/pgsql ,与其它平台不同的是,数据文件和配置文件都在这个目录内的子目录内。
7、数据迁移后的处理,PostgreSQL中主键ID生成机制和SQLServer中的实现机制略有不同,从SQLServer的Identity到PostgreSQL中的Sequence,工具迁移的过程中,只复制数据,主键需要自己手动(或脚本)来设置,主键字段设置好以后,还要对每个sequence的当前值根据当前表的ID最大值做一次设置。我的Web应用项目是基于Hibernate的,因为Hibernate的配置文件也要修改:1、是修改主配置文件中的SQL方言类型;2、就是把每个表的主键生成机制由identity改为sequence(现在的版本这个设置一般是由@注解机制完成)
SQL Server是这样:
<id name="id" column="id" type="java.lang.Integer"> <generator class="identity"/> </id>
改为PostgreSQL以后是这样:
<id name="id" column="id" type="java.lang.Integer"> <generator class="sequence"> <param name="sequence">此处是表ID对应的序列名称,你可以在AdminIII的序列目录中找到表对应序列名,一般序列的名字是Tablename_id_seq</param> </generator>
相关文章
- 使用navicat premium将数据库从Oracle迁移到SQL Server,或从Oracle迁移到MySQL
- 【华为云技术分享】深入浅出Sqoop之迁移过程源码分析
- 【鲲鹏来了】鲲鹏迁移过程案例分享
- EF Core 迁移过程遇到EF Core tools version版本不相符的解决方案
- 数据库SqlServer迁移PostgreSql实践
- linux shell实现go.mod迁移后版本号的更新问题(技能点:sed删除行自定义分隔符;文件的过滤后遍历)
- MySQL · 特性分析 · innodb 锁分裂继承与迁移
- NLP:自然语言领域NLP模型发展(ELmo→GPT/BERT→MT-DNN→XLNet→RoBERTa→ALBERT)l历程简介、重要算法介绍之详细攻略daiding—已全部迁移
- AD域控迁移:从WINDOWS SERVER 2003 AD迁移到SERVER 2008 R2 过程实践
- CV之NS之CycleGAN:基于apple2orange数据集利用TF框架的CycleGAN算法实现图像风格迁移/图像转换—训练&测试过程图文教程全记录
- CV之NS:图像风格迁移(Neural Style 图像风格变换)算法简介、过程思路、关键步骤配图、案例应用之详细攻略
- 迁移学习(Transfer)
- 【论文&模型学习】从自然语言监督中学习可迁移视觉 CLIP(Learning Transferable Visual Models From Natural Language Supervision)
- 迁移学习《Energy-based Out-of-distribution Detection》
- kubernetes要实现的目标——随机关掉一台机器,看你的服务能否正常;减少的应用实例能否自动迁移并恢复到其他节点;服务能否随着流量进行自动伸缩
- Openstack: migration 虚拟机热迁移 失败的注意点
- TensorFlow 从入门到精通(15)—— 迁移学习和猫狗大战(上)更新ing
- Lecture7:随机梯度下降算法问题及解决、dropout正则化、学习率的选择、迁移学习
- 【过程记录】python环境离线迁移
- 如何在MySQL 8中实现数据迁移?这里有一个简单易用的方案