zl程序教程

【Flink】流-表概念

  • Flink基础概念

    Flink基础概念

    Hi~朋友,关注置顶防止错过消息Flink是什么?为什么需要Flink?Flink的API分层是什么?流的划分是什么?Flink的时间种类Flink的状态容错Flink的状态维护Watermarks是什么?作者本人之所以写Flink是因为最近在做一些实时监控的东西,需要对数据流进行实时处理并计算然后投递到后续的存储,因此最近一段时间会持续研究Flink和监控的一些东西,也希望有Flink开发经验、

    日期 2023-06-12 10:48:40     
  • Flink(40):Flink之TableAPI和FlinkSQL的流处理中的特殊概念

    Flink(40):Flink之TableAPI和FlinkSQL的流处理中的特殊概念

    目录 0. 相关文章链接 1. 流处理和关系代数(表,及SQL)的区别 2. 动态表(Dynamic Tables) 3. 流式持续查询的过程 3.1. 概述 3.2. 将流转换成表(Table) 3.3. 持续查询(Continu

    日期 2023-06-12 10:48:40     
  • flink Iterate迭代基本概念

    flink Iterate迭代基本概念

    基本概念:在流中创建“反馈(feedback)”循环,通过将一个算子的输出重定向到某个先前的算子。这对于定义不断更新模型的算法特别有用。 迭代的数据流向:DataStream → IterativeStream → DataStream 以下代码以流开始并连续应用迭代体。大于0的元素将被发送回反馈(feedback)通道,继续迭代,其余元素将向下游转发,离开迭代。 IterativeStrea

    日期 2023-06-12 10:48:40     
  • Apache Flink:特性、概念、组件栈、架构及原理分析

    Apache Flink:特性、概念、组件栈、架构及原理分析

       2016-04-30 22:24:39    Yanjun Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的S

    日期 2023-06-12 10:48:40     
  • Flink-Table API(概念、基础操作、流表转换)

    Flink-Table API(概念、基础操作、流表转换)

      在 Flink 提供的多层级 API 中,核心是 DataStream API,这是我们开发流处理应用的基本途径;底层则是所谓的处理函数(process function),可以访问事件的时间信息、注册定时器、自定义状态,进行有状态的流处理。DataStream API 和处理函数比较通用,有了这些 API,理论上我们就可以实现所有场景的需求了。 不过在企业实际应用中,往往会面

    日期 2023-06-12 10:48:40     
  • Flink--Streaming Warehouse 流式数仓的概念、目标及实现路径

    Flink--Streaming Warehouse 流式数仓的概念、目标及实现路径

    在 Flink Forward Asia 2021 的主题演讲中,Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰提出了 Flink 下一步的发展方向——流式数仓(Str

    日期 2023-06-12 10:48:40     
  • Apache Flink 零基础入门(一):基础概念解析

    Apache Flink 零基础入门(一):基础概念解析

    作者:陈守元、戴资力 一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,

    日期 2023-06-12 10:48:40     
  • 使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念

    使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念

     从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现。       其中, flink dataset api使用及原理 介绍了DataSet Api 

    日期 2023-06-12 10:48:40