Flink（二）
Flink - 自己总结了一些学习笔记
本篇文章较长，建议通过目录快速定位你感兴趣的内容！ 文章目录 DataSet/Stream API 1.1 Environment 1.1.1 getExecutionEnvironment1.2 Source 1.2.1 基于本地集合的source1.2.2 基于本地文件的source1.2.3 基于HDFS的source1.2.4 基于 kafka 消息队列的source1.2.5 自定
日期 2023-06-12 10:48:40
大数据ClickHouse（十九）：Flink 写入 ClickHouse API
Flink 写入 ClickHouse API可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构：重构之前（1.10.x 及之前版本），包名为 flink-jdbc 。重构之后（1.11.x 及之后版本），包名为 flink-connector-jdbc 。二者对 Flink 中
日期 2023-06-12 10:48:40个推TechDay直播回顾 | 分享基于Flink的实时数仓搭建秘诀 附课件下载
近日，个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动（个推）的资深数据研发工程师为大家详细解读了实时数仓架构演进，分享了实时数仓的技术选型要点，并结合实战案例详细剖析实时数仓搭建秘诀。课程回顾视频内容当下，企业的实时计算需求越来越高频。比如很多企业在建的实时数据可视化大屏就是很典型的实时计算场景：大屏数据实时刷新，展示最近一分钟甚至半分钟内的交易额。类似的实时计算场景还有很多，
日期 2023-06-12 10:48:40JRC Flink流作业调优指南
Tech 导读 本文综合Apache Flink原理与京东实时计算平台（JRC）的背景，详细讲述了大规模Flink流作业的调优方法。通过阅读本文，读者可了解Flink流作业的通用调优措施，并应用于生产环境。 写在前面 Apache Flink作为Google Dataflow Model的工业级实现，经过多年的发展，如今已经成为流式计算开源领域的事实标准。它具有高吞吐、低时延、原生流批一体、
日期 2023-06-12 10:48:40
钱大妈基于 Flink 的实时风控实践
摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台，为各业务线提供 BI 报表及数据接口支持。除了数仓的分析场景以
日期 2023-06-12 10:48:40Flink 自定义SQL实现Hudi MOR表压缩
Hudi在构建流式数据湖方面具有领先地位。Flink作为真正的流处理引擎，与Hudi搭配是理所应当的事情了。但是目前Hudi MOR表压缩功能除了在线压缩以外，并不能通过SQL实现手动压缩。目前的实现方式为：./bin/flink run -c org.apache.hudi.sink.compact.HoodieFlinkCompactor lib/hudi-flink1.15-bundle_2
日期 2023-06-12 10:48:40大数据开发之Flink远程调试
前言在开发Flink程序的时候很多时候我们本地打包Jar在服务器中运行，比较麻烦。我们就可以使用以下的方式来让远程服务器运行本地程序。步骤添加运行配置按如下配置下拉选择SSH输入密码，一直下一步其中JDK会自动获取位置，我们只需要修改程序的目标位置就行。之后运行的时候，会自动把本地的依赖和代码上传至服务器端自动运行。
日期 2023-06-12 10:48:40大数据开发之Flink连接Hive
前言本文使用环境版本Hive：2.3.9Flink：flink-1.12.7-bin-scala_2.12使用代码连接到 HiveHive 需要开启元数据服务nohup hive --service metastore >/dev/null 2>&1 &复制需要将配置了hive.metastore.uris的配置文件复制到项目resources路径下<?xml v
日期 2023-06-12 10:48:40【说站】python PyFlink是什么意思
python PyFlink是什么意思1、说明PyFlink就是Apache Flink与Python的组合，或者说是Python上的Flink。两者的结合意味着您可以在Python中使用Flink的所有功能。2、应用场景事件驱动的方案，例如实时数据监控。数据分析，例如库存管理和数据可视化。数据管道，也称为ETL方案，例如日志解析。机器学习，例如有针对性的建议。3、安装命令pip install
日期 2023-06-12 10:48:40Flink 非确定性更新（NDU）问题探索和规避
问题背景非确定性函数（Non-Deterministic Functions）一直是影响流处理系统状态匹配的梦魇。例如用户在定义源表时，某个虚拟列字段调用了 RAND()、NOW()、UUID() 等函数；那么每次作业崩溃后重新运行，即使输入的数据流完全一致，输出结果也未必相同。此外，如果用户使用维表 JOIN，而外部维表随时在更新时，每次 JOIN 的结果也可能不同。对于纯 Append 流（只
日期 2023-06-12 10:48:40
Flink DataStream多样化
Hi~朋友，关注置顶防止错过消息DataStreamKeyedStreamConnectedStreamsWindowedStreamWindowAssignerEvictorTriggerTime和WaterMarkGitHub源码(https://github.com/echo9509/flink-learning)DataStreamDataStream作为我们最基础的流处理类，我们可以通过
日期 2023-06-12 10:48:40Flink kafka sink to RDBS 测试Demo
flink sql 模式代码demo （Java）（使用flink sql 进行流式处理注意字段的映射） 官方文档类型映射 import com.alibaba.fastjson.JSON; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.datas
日期 2023-06-12 10:48:40
Flink 源码走读(一)
实例以yarn-per-job为例。flink提交作业是通过flink run进行提交的，可以从提交脚本中看到启动类即程序的入口是：org.apache.flink.client.cli.CliFrontend复制定位到源码中main函数，查看执行逻辑/** Submits the job based on the arguments. */ public static void main(fin
日期 2023-06-12 10:48:40Flink connecton for gbase8c
上一次发文，好像还是上一次，鸽了这么久，开始还是有一些心理负担的，但是时间长了，好像就坦然了一些，但问题终究还是要面对的，所以今天我来了。。。因为一些原因，研究的方向有了一些变动，目前以分布式集群架构，以及编译器为主。相信关注我一段时间的朋友，也发现了 JimSQL 最近也做了一次大更新，有兴趣的同学，可以一起交流。好了，今天我们来分享，手把手构建 Flink connector GBase8c
日期 2023-06-12 10:48:40Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun前言上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美，本文介绍一种比较完美的方式，通过Hudi HMS Cata
日期 2023-06-12 10:48:40flink中文社区_flink demo
Feature Stages MVP: Have a look, consider whether this can help you in the future. Beta: You can benefit from this, but you should carefully evaluate the feature. Ready and Evolving: Ready to use
日期 2023-06-12 10:48:40Flink CDC MySQL2Hudi
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelunHudi 非分区表set yarn.application.name=cdc_mysql2hudi_nopar; -- 示例间隔：10s set execution.checkpointing.interval=10000; s
日期 2023-06-12 10:48:40浅谈 Flink 窗口
本次只记录最近对于窗口的新认知关于窗口的详细知识可以参考如下链接：https://blog.csdn.net/mynameisgt/article/details/124223193窗口的作用是为了在无限流上进行统计计算，当数据到来时，数据属于哪一个窗口就确定了，然后在内存中开辟窗口。当 Flink 的时间大于等于窗口的结束时间时，触发这个窗口的计算，计算完毕之后，销毁此窗口。在一个流上开窗口之前
日期 2023-06-12 10:48:40
万字长文：基于Apache Hudi + Flink多流拼接(大宽表)最佳实践
1. 背景经典场景Flink 侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：1. 维表 JOIN• 场景挑战：指标数据与维度数据进行关联，其中维度数据量比较大，指标数据 QPS 比较高，导致数据可能会产出延迟。• 当前方案：将部分维度数据缓存起起来，缓解高 QPS 下访问维度数据存储引擎产生的任务背压问题
日期 2023-06-12 10:48:40Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
十一、处理函数之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream进行转换的；所以可以统称为DataStream API，这也是Flink编程的核心。而我们知道，为了让代码有更强大的表现力和易用性，Flink本身提供了多层API，DataStream API只是中间的一环，如图所示：在更底层，我们可以不定义任何具体的算子（比如map，filte
日期 2023-06-12 10:48:40大数据Kudu（十）：Flink操作Kudu
Flink操作KuduFlink主要应用场景是流式数据处理上，有些公司针对流式数据使用Flink实时分析后将结果存入Kudu,例如快手公司。这里将实时计算的结果存入Kudu需要自定义Flink Kudu Sink。场景：Flink实时读取Socket数据，将结果存入Kudu表t_flink_result,为了方便操作不再创建Kudu外表，这里在Impala中创建Kudu内表t_flink_res
日期 2023-06-12 10:48:40Flink写hudi报datanode异常以及解决办法
问题描述这几天在使用tpcds数据对hudi 0.12.0写入性能进行压测，发现在数据写入半小时后，即出现异常，并且程序不断重启，任务异常日志如下：2023-01-06 18:36:21 org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'stream_wri
日期 2023-06-12 10:48:40Flink作业反压处理
简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和 消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。简单
日期 2023-06-12 10:48:40Flink被阿里巴巴买后，果然还是废了
Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。甚至从批流一体的角度来说，现在有了FlinkSQL，有了底层的Flink Table Store,看起来，做个批流一体的数仓或者数据湖，也挺有前途的。再换个角度看，Flink现在和自己几年前比，用的人也好，用的公
日期 2023-06-12 10:48:40Flink中DataStream和Table互相转换
前言Flink 为处理一列转多列的场景提供了两种返回类型 Tuple 和 RowTuple 只支持1~25个字段，且不能为null，不支持拓展Row 支持null同时也无限制字段数，但如果需要使用Row，必须重载实现getResultType方法DataStream=>Tableimport org.apache.flink.api.common.typeinfo.BasicTypeInfo
日期 2023-06-12 10:48:40Flink SQL Checkpoint 学习总结
前言学习总结Flink SQL checkpoint的使用，主要目的是为了验证Flink SQL流式任务挂掉后，重启时还可以继续从上次的运行状态恢复以继续运行。验证方式Flink SQL流式增量读取Hudi表然后sink MySQL表，任务启动后处于running状态，先查看sink表有数据，然后将对应的yarn kill掉，再通过设置的checkpoint重启任务，任务重启后验证sink表的数据
日期 2023-06-12 10:48:40Flink开发-Hive数据导入HBase中
正文依赖<!--JSON工具--> <dependency> <groupId>com.alibaba.fastjson2</groupId> <artifactId>fastjson2</artifactId> <version>2.0.22</version> </dependen
日期 2023-06-12 10:48:40Kafka和Flink双剑合璧，Confluent收购Immerok引起业内广泛讨论
2023年开年开源界就出了一个大新闻，1月6日Kafka的商业化公司Confluent创始人宣布签署了收购 Immerok 的最终协议，而Immerok是一家为 Apache Flink 提供完全托管服务的初创公司，其创始团队正是Flink的创始团队。无论是Kafka还是Flink，都是大数据领域内非常重要的开源软件，被成千上万的企业所应用，两者的结合可谓是“双剑合璧”，更加重要的是Immerok
日期 2023-06-12 10:48:40Flink 2PC 一致性语义
一、引申（什么是XA事务）XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resource Manager，参与者）之间的接口。其中，资源管理器往往由数据库实现，
日期 2023-06-12 10:48:40Flink简介
一、Flink概述 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。二、Flink特点 适用于所有企业，不同企业有不同的业务场景。处理数据量，模型都不一样。1）随机部署应用 flink是分布式系统，需要计算资源才可执行程序。flink可以与常见的集群资源管理器进行集成(Ha
日期 2023-06-12 10:48:40Flink集群安装
1）下载安装包 2）上传安装包到/root下 3）解压 cd /root tar -zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C hd 4）修改配置文件 vi flink-conf.yaml 第33行修改为： jobmanager.rpc.address: hd110 5）修改slaves vi slaves hd111 hd112 6）
日期 2023-06-12 10:48:40