Flink优化
Flink Sink的反压优化（Sink异步化）
Hi~朋友，关注置顶防止错过消息背景原因分析定位优化思路实现方案SinkTaskProcessorAbstractAsyncRichSinkFunctionAsyncSinkTaskRunnable源码背景在Flink的使用中，我们有一个场景是基于阿里的SLS进行消费，对一些监控指标进行清洗和采集，存入后面的TSDB，在第一次上线以后，系统正常运作无异常，随着指标数量的增加， 有一天收到了SLS消
日期 2023-06-12 10:48:40
Flink SQL 优化
设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的
日期 2023-06-12 10:48:40
Flink SQL 优化
设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的 状态
日期 2023-06-12 10:48:40Apache Hudi数据湖的Flink优化参数
表参数1. Memory2. Parallelism3. Compaction只适用于online compaction
日期 2023-06-12 10:48:40深度剖析阿里巴巴对 Apache Flink 的优化与改进
Apache Flink 概述 Apache Flink（以下简称 Flink）是诞生于欧洲的一个大数据研究项目，原名 StratoSphere。该项目是柏林工业大学的一个研究性项目，早期专注于批计算。2014 年，StratoSphere 项目中的核心成员孵化出 Flink，并在同年将 Flink 捐赠 Apache，后来 Flink 顺利成为 Apache 的顶级大数据项目。同时 Flink
日期 2023-06-12 10:48:40
Hudi（15）：Hudi集成Flink之内存优化
目录 0. 相关文章链接 1. 内存参数 2. MOR 3. COW 0. 相关文章链接 Hudi文章汇总 1. 内存参数 名称 说明 默认值 备注 write.task.max.size 一个 write task 的最大可用内存 1024 当前预留给 write buffer 的内存为 write.task.ma
日期 2023-06-12 10:48:40Flink教程（28）- Flink性能优化
文章目录 01 引言02 History Server03 序列化04 复用对象05 数据倾斜06 总结 01 引言 在前面的博客，我们学习了Flink的Metrics监控了ÿ
日期 2023-06-12 10:48:40
Flink数据倾斜概述与优化
在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。 1.数据倾斜的原理和影响 1.1 原理 数据倾斜就是数据的分布严重不均，造成一部分数据很多，一部分数据很少的局面。 数据分布理论上都是倾斜的，符合“二八原理”：例如80%的财富集中在20%的人手中、80%的用户只使用20%的功能、20%的用户贡献了80%的访问量。 数据倾斜的现象，如下图所
日期 2023-06-12 10:48:40深度剖析阿里巴巴对Apache Flink的优化与改进
本文主要从两个层面深度剖析：阿里巴巴对Flink究竟做了哪些优化？ 取之开源，用之开源 一、SQL层 为了能够真正做到用户根据自己的业务逻辑开发一套代码，能够同时
日期 2023-06-12 10:48:40Flink udf的小问题：无参数的udf函数会被优化成常量表达式
这两天有一个使用flink sql的实时流项目，需要在每个结果中标记当前时间。因为flink没有获取当前时间的函数，于是我自己定义了一个udf： import org.apache.flink.table.functions.ScalarFunction; public class CurrentUnixTimeFunction extends ScalarFunction { pu
日期 2023-06-12 10:48:40