ETL 是什么 ETL 工具有哪些 ETL 数据交换系统
2023-02-26 09:50:03 时间
ETL简介
- ETL是英文Extract-Transform-Load的缩写。
- 用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
- 它能够对各种分布的、异构的源数据(如关系数据)进行抽取。
- 按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗。
- 得到符合要求的“干净”数据,并加载到数据仓库中进行存储。
这些“干净”数据就成为了数据分析、数据挖掘的基石。
ETL重要性
- ETL是实现商务智能(Business Intelligence,BI)的核心。
- 一般情况下,ETL会花费整个BI项目三分之一的时间,因此ETL设计得好坏直接影响BI项目的成败。
ETL工具有哪些
- datastage (收费) 最专业的ETL工具, 2005年被IBM收购,目前发展到11.7版本。
- informatica (收费) informatica创立于1993年,专业程度与Datastage旗鼓相当。
- ODI (收费) oracle数据库厂商提供的工具,有局限性,与oracle数据库耦合太深。
- kettle(免费) Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定,但学习及维护成本太高。
- etl-engine (免费) 用go语言实现的ETL工具,轻量级引擎、跨平台(windows,linux,unix,mac)、可嵌入go语言脚本并解析执行,方便集成到各种项目中
参考资料
[资源下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
相关文章
- 学生数据库管理系统
- SpringDataJpa 用MySQL语句怎么分页,spring全家桶SpringDataJpa 用MySQL语句怎么分页
- Docker创建MySQL容器模板命令
- Elasticsearch对应MySQL的对应关系
- 使用SpringDataJpa保存(save)报错误:SQL Error: 1062, SQLState: 23000 控制台会报:Duplicate entry ‘数‘ for key ‘PRIMA
- Navicat Premium 连接sqlserver数据库时提示安装Client失败,解决方案
- Mysql查询当前用户所有数据库语句(SHOW DATABASES)
- MySQL语句-查看当前数据库有哪些表(SHOW TABLES)
- MySQL5.0版本以上新增的 information_schema 数据库是什么?
- MariaDB数据库备份之逻辑备份
- MariaDB数据库创建用户
- MariaDB数据库给用户授权
- MariaDB数据库刷新权限表命令
- MariaDB数据库删除用户命令
- PhpStudy 2016搭建-sqli-libs靶场
- MySQL手动注入步骤
- Pikachu靶场-SQL注入-数字型注入(post)过关步骤
- Pikachu靶场-SQL注入-字符型注入(get)过关步骤
- 利用SQL注入漏洞实现MySQL数据库读写文件
- Kali-工具-sqlmap常见用法