springboot集成kettle实现对接oracle数据

简单记录一下springboot引用kettle对接数据

第一步（这一步讲述了下载kettle、创建数据库连接、转换等，如果这一步会的可以略过，直接看第二步）

先从kettle官网下载kettle，官网地址：https://sourceforge.net/projects/pentaho/

进入官网后点击files，选择需要的版本进行下载

springboot集成kettle实现对接oracle数据

下载完成后是一个压缩包，免安装的，选择一个路径，将压缩包解压，解压后进入到data-integration目录，该目录下有一个Spoon.bat文件，双击即可运行

springboot集成kettle实现对接oracle数据

打开后界面是这样的

springboot集成kettle实现对接oracle数据

然后选择依次点击文件->新建->转换就可以编辑对接数据的逻辑了

springboot集成kettle实现对接oracle数据

在编辑对接程序之前，是需要先设置一下数据库信息的，在这里说明一下，新解压的kettle没有oracle的驱动，需要手动的下载一个ojdbc的jar包放到\data-integration\lib目录下，否则测试连接的时候会报错（以oracle的为例，如果是其他数据库请忽略这一步，直接看下边）

springboot集成kettle实现对接oracle数据

放好以后，需要关掉kettle重启一下才行，我这里放的是ojdbc7，至于其他类型的数据库我还没有测试，不知道是不是也会出现这种情况，如果也出现这种情况的话，就下载一个相对应的驱动，放到data-integration\lib目录下就行

接下来就是在新建的转换当中选择工具->向导->创建数据库连接向导（这一步可以将要读取的数据库和要写入的数据库都配置好，这样在编写对接逻辑的时候就不用在返回来重做这一步了）

springboot集成kettle实现对接oracle数据

根据向导，选择要读取的数据库或者写入的数据库类型，给连接起个名字，点击next

springboot集成kettle实现对接oracle数据

然后是配置数据库信息，服务器主机名称就是ip地址，tcp/ip端口就是数据库的端口，例如oracle的就是1521，数据库名称就是数据库的连接符，例如oracle的orcl，填好后继续点击next

springboot集成kettle实现对接oracle数据

然后会出现让选择数据表空间和索引表空间的步骤，这一步可以选择不填，继续点击next，就到了最后一步，在这里填入数据库的账号密码，点击测试数据库连接

springboot集成kettle实现对接oracle数据

编辑好数据库后，接下来就是编辑对接逻辑了，这里就先简单的写个步骤，复杂的需要自己慢慢体会

首先在窗口的左侧核心对象下，从输入标签中找到表输入，双击或者拖拽都行，拖拽的话是往右侧转换里拖拽，这个表输入就是要读取的数据，然后关闭输入标签，或者向下滑动，找到输出标签，从输出标签中找到插入/更新，同样以双击或拖拽的方式加入到转换里，这个是要写入的数据，然后按住shift键，先点击表输入，再点击插入/更新，这样这个节点就创建好了

springboot集成kettle实现对接oracle数据

创建好节点连接后，就需要编辑表输入和插入/更新了，表输入就是要读取的数据，插入/更新就是要写入的数据，双击表输入

springboot集成kettle实现对接oracle数据

双击更新/插入

springboot集成kettle实现对接oracle数据

当这两个编辑好后，保存一下，就会生成一个ktr文件。

至此，在可视化界面中创建ktr文件的步骤就完成了

第二步，将生成的ktr文件集成到springboot里面

首先需要注意的是，相关依赖一定要引用全了，不然运行时会出现很多异常，我就是这样，公司同时给的代码，在他那里可以运行，到我这里以后就各种异常往外报，耗费一天的时间，终于可以进行数据对接了，下面记录一下需要引入的依赖

<!--kettle相关依赖-->
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-core</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-dbdialog</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
<!--以上三个是最主要的依赖，相关jar包可以从kettle官网下载的下来的工具里面找，
具体路径是：\kettle\data-integration\lib\下面，版本就对应上下载的工具版本就行,
下面的是其他一些相关引用
-->
 <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>29.0-jre</version>
        </dependency>
        <dependency>
            <groupId>pentaho</groupId>
            <artifactId>metastore</artifactId>
            <version>9.1.0.6-517</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-vfs2</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang</artifactId>
            <version>2.6</version>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.5</version>
        </dependency>
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.9</version>
        </dependency>
        <!--kettle相关依赖-->

至于对接的代码就比较简单了，网上到处都有，这里我也记录一下吧

　　　　 try {
            //初始化kettle
　　　　　　  //如果初始化失败，当加载完ktr文件后，会报database type with plugin id [Oracle] couldn't be found!
            KettleEnvironment.init();
        } catch (KettleException e1) {
            e1.printStackTrace();
        }try {
            //加载kettle的ktr文件
            String url=this.getClass().getClassLoader().getResource("test.ktr").getPath();
            System.out.println("########################"+url);
            TransMeta transMeta = new TransMeta(url);
            transMeta.setLogLevel(LogLevel.DEBUG);
            Trans trans = new Trans(transMeta);
            trans.prepareExecution(null);
            trans.startThreads();
            trans.waitUntilFinished();
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        }

总结：其实kettle集成到springboot里面没有多少代码，这个功能最主要的还是ktr文件的编写，只要ktr编写好了，放到指定文件夹下，写个定时任务就完事了，如果以上内容有什么不对的地方，还望各路大神指出，我加以修正

标签 , ,

发表回复