Kettle迁移PostgreSQL到YashanDB

概述

由于YMP不支持PostgreSQL数据库，因此使用开源工具Kettle迁移PosgreSQL数据到YashanDB。本文介绍了Windows环境的Kettle使用方式进行数据迁移。

环境

Kettle版本：8.3

JAVA版本：1.8

源PostgreSQL：版本12

目标YashanDB：23.2.1.100

执行方式

Kettle可以在Windows执行，Windows环境可以使用图形界面，便于使用和调试。

Windows执行Kettle

1、确保Windows当前JAVA环境是JAVA 1.8。如果当前Windows环境存在多个JAVA版本，而默认JAVA环境不是JAVA 1.8，则可以通过Windows环境变量保证Kettle使用JAVA 1.8，例如示例：

PENTAHO_JAVA设置为C:\Program Files\Java\jre-1.8\bin\java.exe

PENTAHO_JAVA_HOME设置为C:\Program Files\Java\jre-1.8

2、解压作业zip包，放置在Kettle所在目录。

3、在Kettle所在目录运行Spoon.bat，启动图形操作界面。

4、打开syncData_PostgreSQL_YashanDB.kjb，这个任务是总任务，它封装了多个子任务用于从PostgreSQL迁移数据到崖山。

5、打开getDatas_PostgreSQL_YashanDB，这个任务是实际执行从PostgreSQL迁移数据到崖山的任务，封装了DB连接，需要根据实际环境进行调整和测试，确保后续配置DB连接PostgreSQLInput和YashanOutput的步骤都测试成功。

6、修改getDatas_PostgreSQL_YashanDB的DB连接PostgreSQLInput，连接类型使用PostgreSQL，然后输入PostgreSQL的主机地址、数据库名字、端口号、用户名和密码，点击“测试”，测试通过后选择“确认”。

7、修改getDatas_PostgreSQL_YashanDB的DB连接YashanOutput，连接类型使用Generic database，连接方式使用Native(JDBC)，设置自定义JDBC URL（jdbc:yasdb://YashanDB_IP:YashanDB_PORT/YashanDB_User）和JDBC驱动类名称，并输入用户名和密码，点击“测试”，测试通过后选择“确认”。

8、修改DB连接PostgreSQLInput和YashanOutput后，getDatas_PostgreSQL_YashanDB配置处于未保存状态，请务必对该任务进行保存。

9、修改tablelist_PostgreSQL_YashanDB.csv，这个配置文件用于指定PostgreSQL需要迁移的库表名，注意这里需要和PostgreSQL的库表大小写保持一致，例如：

owner,table_name

dbmgr,t1

dbmgr,t2

dbmgr,t3

注意：1) owner这一列对应于PostgreSQL的schema；2) tablelist_PostgreSQL_YashanDB.csv最后一行不能为空行。

10、切换回syncData_PostgreSQL_YashanDB.kjb，执行运行即可。

11、确保数据迁移作业成功完成，如果迁移失败，可查看运行日志，定位原因并修复问题，然后重试迁移即可（注意：每次同步之前会将目标库中目标表truncate，所以保证重试不会存在数据重复或者冲突的问题）。