flink针对hadoop 3.x的支持及集成方式
2023-09-11 14:16:24 时间
hadoop版本的支持
Flink自1.11.0 版本开始,已经支持了hadoop 3.x,具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3 相关jar包即可
YARN上的Flink是针对Hadoop 2.4.1编译的,支持所有的Hadoop版本>= 2.4.1,包括Hadoop 3.x。
与hadoop集成
参见:https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html
推荐的方法是通过HADOOP_CLASSPATH环境变量将Hadoop类路径添加到Flink。
Flink 在启动Flink组件(如Client、JobManager或TaskManager)前,将环境变量HADOOP_CLASSPATH的值添加到classpath中。但大多数Hadoop发行版和云环境不会默认设置HADOOP_CLASSPATH这个环境变量,所以如果Hadoop类路径应该由Flink选择,那么必须在所有运行Flink组件的机器上设置这个环境变量。
如果运行在YARN上时,只需要执行下面一条脚本。因为在YARN内部运行的组件将通过Hadoop类路径启动,但当向YARN提交作业时,Hadoop依赖项必须在类路径中。
hadoop classpath是一句shell命令,用于获取配置的Hadoop类路径
export HADOOP_CLASSPATH=`hadoop classpath`
注意: 从Flink 1.11开始,Flink项目不再正式支持使用Flink -shade -hadoop-2-uber版本。建议用户通过HADOOP_CLASSPATH提供Hadoop依赖项。
相关链接
相关文章
- SpringBoot集成Tomcat服务
- 自动化集成:Jenkins管理工具详解
- SODBASE CEP学习(四)续:类SQL语言EPL与Storm或jStorm集成-使用分布式缓存
- SpringBoot集成Activiti(二)
- 【持续集成和交付】Jenkins环境搭建:Jenkins介绍、下载安装
- 快速集成AppLinking服务-HarmonyOS平台
- 迷你世界集成HUAWEI Account Kit,助力用户增长及变现
- 基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute
- HBase集成Zookeeper集群部署
- 从零搭建Spring Boot脚手架(3):集成mybatis
- Flink CDC 专题首发|每天 10 分钟,解锁新一代数据集成框架
- vue项目中集成腾讯TIM即时通讯
- YII2框架集成go!aop
- 【HarmonyOS】鸿蒙轻量级智能穿戴应用可以集成华为分析SDK吗?
- 关于云与持续集成杂谈
- 协鑫集成携中国成套工程在核灾区建立1GW光伏电站