Flink开发流程
2023-06-13 09:17:20 时间
Flink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有限的情况下,对于一个DataStream元素的数量可以是无界的。
这些集合在某些关键方面与常规Java集合不同。首先,它们是不可变的,这意味着一旦创建它们就无法添加或删除元素。你也不能简单地检查里面的元素。
集合最初通过在flink程序添加源创建和新的集合从这些通过将它们使用API方法如衍生map,filter等等。
Flink程序看起来像是转换数据集合的常规程序。每个程序包含相同的基本部分:
1.获取execution environment,
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
2.加载/创建初始化数据
DataStream<String> text = env.readTextFile("file:///path/to/file");
3.指定此数据的转换
val mapped = input.map { x => x.toInt }
4.指定放置计算结果的位置
writeAsText(String path)
print()
5.触发程序执行
在local模式下执行程序
execute()
将程序达成jar运行在线上
./bin/flink run \
-m node21:8081 \
./examples/batch/WordCount.jar \
--input hdfs:///user/itstar/input/wc.txt \
--output hdfs:///user/itstar/output2 \
相关文章
- 系统启动流程-armV7
- 业内首个「因果推断全流程」挑战赛!WAIC 2022 · 黑客马拉松邀全球开发者精英来挑战
- Django流程_菜鸟裹裹收费标准
- OneCode低代码引擎-流程引擎白皮书
- 接口测试放在迭代中,流程怎么走呢?
- 【Android Gradle 插件】Android Studio 工程 Gradle 构建流程 ① ( 触发 Android Studio 工程构建 | Gradle 构建脚本执行顺序 )
- 【Linux 内核 内存管理】mmap 系统调用源码分析 ⑤ ( mmap_region 函数执行流程 | mmap_region 函数源码 )
- Mac 上编译MySQL 流程指南(mac编译mysql)
- 家MySQL买家必备:了解MySQL数据库购买流程(mysql买)
- 实战指南Linux全流程实战:一步一步掌握安装部署(linux全流程)
- 阿里涉性侵男员工曾去字节面试 已被无限期终止招聘流程
- Flink读取Oracle数据源的研究(flink读oracle)
- Flink技术与Oracle数据库结合,助力数据分析(flink与oracle)
- 平安科技RPA负责人:流程优化视角下的“RPA+AI”实践