Flink 利器:开源平台 StreamX 简介
2023-03-15 21:58:44 时间
StreamX 简介
StreamX 是 Flink & Spark 极速开发脚手架,开源的流批一体一站式大数据平台。
StreamX 支持 Flink 多版本,支持 Flink SQL WebIDE,支持 Flink SQL 校验。自2021年3月起开源,提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。
可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。
架构图如下:
StreamX 功能特性:
- 开发脚手架
- 多版本Flink支持(1.11,x, 1.12.x, 1.13 )
- 一系列开箱即用的connectors
- 支持项目编译功能(maven 编译)
- 在线参数配置
- 支持
Applicaion
模式,Yarn-Per-Job
模式启动 - 快捷的日常操作(任务
启动
、停止
、savepoint
,从savepoint
恢复) - 支持火焰图
- 支持
notebook
(在线任务开发) - 项目配置和依赖版本化管理
- 支持任务备份、回滚(配置回滚)
- 在线管理依赖(maven pom)和自定义jar
- 自定义udf、连接器等支持
- Flink SQL WebIDE
- 支持catalog、hive
- 任务运行失败发送告警邮件
- 支持失败重启重试
- 从任务
开发
阶段到部署管理
全链路支持 - ...
参考阅读:
[1] Streamx Github: https://github.com/streamxhub/streamx
[2] StreamX 官网:http://www.streamxhub.com/
[3] StreamX 说明文档: http://www.streamxhub.com/zh/doc/guide/intro/
[4] 百里国际在 StreamX 上的实践:https://mp.weixin.qq.com/s/0WvUiMgzRXRWiaRkiIz7qA
相关文章
- 一篇运维老司机的大数据平台监控宝典(2)-联通大数据集群平台监控体系详解
- 一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
- 空中换引擎 博时基金数字化转型经验谈
- 如何高效地学习编程语言
- 作为一名阿里巴巴数据分析大牛,送给学弟学妹的经验积分
- 为什么要学习R语言
- Hadoop大数据分析平台的介绍性讨论
- 最全面的Spring学习笔记
- 16个用于数据科学和机器学习的顶级平台
- 给有抱负的数据科学家的六条建议
- 如何做一枚合格的数据产品经理
- 除Kaggle外,还有哪些顶级数据科学竞赛平台
- 一个鲜为人知却可以保护隐私的训练方法:联合学习
- 干货 :送你12个关于数据科学学习的关键提示(附链接)
- 大数据行业有多少种工作岗位,各自的技能需求是什么?
- 中国移动研究院常耀斌:商用大数据平台的研发之路
- 这些数据科学家必备的技能,你拥有哪些?
- 自学成才的开发者有何优势和劣势?
- Gartner报告:正处于数据科学与机器学习工具 “大爆炸”的时代
- Ready Computing借助InterSystems IRIS医疗版为医疗机构提供具有高度互操作性和可扩展性的解决方案