ETL工具选型 需要考虑哪些因素
2023-02-26 09:51:33 时间
如何选型
ETL产品的选型工作一直以来都是困扰架构师的一块心病,国外付费产品用不起,国外免费产品学习成本高、不易实施。
- 多数软件又为什么逐渐国产化? 长期以来,国内数据技术都由海外厂商主导。然而随着国际竞争环境日益激烈,争端所引发的技术卡脖子事件频发,面对特殊的大环境,全球化带来的科技创新共同体背后,国家IT产业实现自主可控的重要性不言而喻。为确保国家信息安全,政府部门出台了一系列的相关政策以支持IT系统的国产化。
- 落地项目中真正的需求又是什么? 传统的数据导出、格式各种转换、装载; 上游对接消息中间件、格式各种转换、数据分发; 移植到设备终端上运行是否会省去更多复杂因素?是否会更加接地气? 适配各种当下流行的非关系型数据库、时序数据库;
- 真的是靠拖拉拽就能解决所有问题吗? 拖拉拽只解决了部分实施性工作,但业务场景往往是复杂多元化的,需要实施人员能在此基础上进行适应性开发。
轻量级 跨平台 易集成
- go语言开发,部署简单,开箱即用。 不需要JVM虚拟机等环境的部署,不需要依赖各种静态库、动态库,go编译出的二进制文件是可以独立运行的、而且跨平台,实施简单方便集成。
- 不只是数据交换工具,还是可以嵌入并解析go语言脚本的开发工具。 嵌入脚本并能解析性运行解决了动态需求的场景,必不可少的一项功能。
- 完善的ETL解决方案,提供可视化任务设计器、调度配置及日志查看功能。 为方便实施与监控需要有图形化功能来支撑。
支持丰富的数据源
- 关系型数据库
Oralce、MySQL、PostgreSQL、Sqlite
- 非关系型数据库
ElasticSearch、Redis
- 时序数据库
InfluxDB、ClickHouse、Prometheus
- 消息中间件
Kafka、RocketMQ
- Hadoop生态
Hive
- 文件
Excel、CSV
参考资料
[资源下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
相关文章
- 学生数据库管理系统
- SpringDataJpa 用MySQL语句怎么分页,spring全家桶SpringDataJpa 用MySQL语句怎么分页
- Docker创建MySQL容器模板命令
- Elasticsearch对应MySQL的对应关系
- 使用SpringDataJpa保存(save)报错误:SQL Error: 1062, SQLState: 23000 控制台会报:Duplicate entry ‘数‘ for key ‘PRIMA
- Navicat Premium 连接sqlserver数据库时提示安装Client失败,解决方案
- Mysql查询当前用户所有数据库语句(SHOW DATABASES)
- MySQL语句-查看当前数据库有哪些表(SHOW TABLES)
- MySQL5.0版本以上新增的 information_schema 数据库是什么?
- MariaDB数据库备份之逻辑备份
- MariaDB数据库创建用户
- MariaDB数据库给用户授权
- MariaDB数据库刷新权限表命令
- MariaDB数据库删除用户命令
- PhpStudy 2016搭建-sqli-libs靶场
- MySQL手动注入步骤
- Pikachu靶场-SQL注入-数字型注入(post)过关步骤
- Pikachu靶场-SQL注入-字符型注入(get)过关步骤
- 利用SQL注入漏洞实现MySQL数据库读写文件
- Kali-工具-sqlmap常见用法