Kettle工具使用及总结
Kettle工具使用及总结
一、kettle安装及报错:
kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点。其下载包直接解压打开就能用,遇到的问题:
1.连接MySQL报错:
①报错:
Driver class ‘org.gjt.mm.mysql.Driver’ could not be found, make sure the ‘MySQL’ driver (jar file) is installed.
org.gjt.mm.mysql.Driver
原因:没有识别到连接数据库的驱动jar包
解决方法:
将驱动jar包复制粘贴到data-integration\lib文件下(data-integration为kettle安装目录);重启spoon。
操作完成之后反复尝试还是报相同的错,识别不到,则说明你的kettle版本与你的驱动版本不容,无法识别。(例如我的kettle7.0无法识别mysql-connector-java-8.0.19.jar)。那么只有换版本或者换连接的数据库(这里我放弃连接MySQL,转为连接sqlserver)
②报错:
Error connecting to database: (using class org.gjt.mm.mysql.Driver)
Unknown initial character set index ‘255’ received from server. Initial client character set can be forced via the ‘characterEncoding’ property.
原因:你导入的jar包被kettle识别,但是它与你本地MySQL版本不容
解决方法:换连接驱动的jar包(因为驱动版本是跟数据库版本一致的,间接说明你的kettle与MySQL版本不容)
连接SQL server:
连接成功:
操作:(本案例演示csv文件拆分字段转存sqlserver数据库)
二、kettle实例
(1)建立作业,连接数据库
(2)执行sql脚本(对数据库表初始化操作)
下面的sql脚本在sqlserver运行不出错,但在kettle就会报错(不知道为什么,所以现在我sql脚本没有写,不过想想确实还不如直接去数据库客户端里建表方便)
IF NOT EXISTS (select * from dbo.sysobjects where xtype=’U’ and Name = ‘kettle_test’)
BEGIN
CREATE TABLE kettle_test
(
kind varchar(255),
time varchar(255),
processingDepartment varchar(255),
content varchar(255)
);
END
执行结果出错(如下图),后来我把sql语句删了,动手在数据库里建的表。
(3)在转换1中新建一个转换;完成输入csv文件,字段切分,输出到表的操作
(这里,观察左菜单栏就会发现它的数据清洗功能)
①给转换建立数据库连接;
②进行csv文件输入:
CSV输入设置
拆分字段:
Excel输入设置
从输入组件中拖入EXCEL输入,点击设置:
(1)在弹出框中选择“表格类型”为“Excel 2007 XLSX (Apache POI)”;
(2)点击“文件或目录“后的“浏览”选择需要导入的Excel表格,点击“增加”添加至选中文件列表中;
(3)单击“工作表”,在工作表页面选择“获取工作表名称”,选择相应的“可用项目”添加至“你的选择”中;
(4)单击“字段”,在字段页面点击“获取来自头部数据的字段”,(所以Excel表格最好带有列字段列名),并可以对获取的数据字段类型进行调整,可以点击“预览记录”查看数据;
表输出设置
展开”输入”列表将”表输出”模块拖入右侧空白区域;
⑤点击文件,保存
⑥返回作业,为转换1设置:
(4)保存,执行
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/181111.html原文链接:https://javaforall.cn
相关文章
- 工具推荐|基于天气雷达数据的冰雹反演工具
- asciinema-linux终端回放记录工具
- 使用dom4j解析xml工具类[通俗易懂]
- Golang性能优化工具pprof使用入门
- TurboCollage for Mac(照片拼贴工具)v7.2.8激活版
- 如何创建一个带诊断工具的.NET镜像
- 企业实施六西格玛要掌握工具有哪些
- bkcrack:一款基于已知明文攻击的传统zip加密破解工具
- 通过Cursor 工具使用GPT-4的方法
- 使用iperf3工具测试以太网口12小时稳定情况
- 【Android 逆向】使用 DB Browser 查看并修改 SQLite 数据库 ( 下载 DB Browser 安装包 | 安装 DB Browser 工具 )
- Linux超级强大的十六进制dump工具:XXD命令,我教你应该如何使用!
- 万字深度好文 | 工作流的祛魅:从工具、阅读到写作
- MySQL 自带工具使用介绍详解数据库
- 使用SQLServer客户端工具轻松实现数据库管理(sqlserver客户端工具)
- 使用Linux USB 来优化你的工作(linuxusb工具)
- 绘制 Redis 图形:使用工具解析缓存(redis图形工具)
- 探索MSSql:有效查看数据库信息(查看工具mssql)
- 25字中文文章标题:Oracle跟踪SQL工具使用详解(oracle跟踪sql工具)
- 使用MSSQL工具获取汉字全拼(mssql 获取全拼)
- 让Redis成为最佳工具使用在哪里(什么地方使用redis)
- 使用Redis集群可视化工具实现更高效管理(redis集群可视化工具)
- 解除使用Linux分区工具时给大家带来的困扰