Spark Streaming简介
Spark 简介 Streaming
2023-06-13 09:17:20 时间
Spark Streaming是Spark Core API的一种扩展,它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据,比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据处理,比如map、reduce、join和window。处理后的数据可以被保存到文件系统、数据库、Dashboard等存储中。
1.png
相关文章
- Shopify Spark主题模板配置修改
- Spark UI基本介绍
- spark RDD
- 大数据Kudu(九):Spark操作Kudu
- Spark记录
- Spark入门实战系列–1.Spark及其生态圈简介详解大数据
- Spark项目之电商用户行为分析大数据平台之(十二)Spark上下文构建及模拟数据生成详解大数据
- Spark项目之电商用户行为分析大数据平台之(七)数据调研–基本数据结构介绍详解大数据
- Spark项目之电商用户行为分析大数据平台之(三)大数据集群的搭建详解大数据
- Spark算子详解大数据
- Spark算子—实战应用详解大数据
- spark入门之一 spark组件详解大数据
- Spark内存管理详解大数据
- 用Spark轻松写入Redis(spark写入redis)
- 发挥Spark火花结合Redis助力大数据分析(spark结合redis)