提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  大数据

当前栏目

Flink-State Backends（状态后端）

flink状态 State
2023-09-11 14:14:34 时间
状态后端（State Backends）
每传入一条数据，有状态的算子任务都会读取和更新状态
由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问
状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（state backend）
状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储
 
状态后端类型：
MemoryStateBackend
内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上，而将checkpoint存储在JobManager的内存中
特点：快速、低延迟，但不稳定；主要用在测试开发环境
 
FsStateBackend
将checkpoint存到远程的持久化文件系统（FileSystem）上，而对于本地状态，跟MemoryStateBackend一样，也会存在TaskManager的JVM堆上
特点：同时拥有内存级的本地访问速度，和更好的容错保证
 
RocksDBStateBackend
将所有状态序列化后，存入本地的RocksDB中存储
 
val env = StreamExecutionEnvironment.getExecutionEnvironment
 
env.setParallelism(1)
 
env.setStateBackend(new MemoryStateBackend())
env.setStateBackend(new FsStateBackend("hdfs://localhsot:xxxx"))
env.setStateBackend(new RocksDBStateBackend(""))

 

 
 

相关文章