zl程序教程

您现在的位置是:首页 >  云平台

当前栏目

Spark 算子之reduceByKey与groupByKey

Spark 算子
2023-09-27 14:28:03 时间

前言

在一开始学习spark的wordcount案例的时候,我们使用过reduceByKey这个算子,用这个算子可以将tuple(key/value)类型的数据按照key进行聚合;

函数签名

def reduceByKey(func: (V, V) => V ): RDD[(K, V)]
def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]

函数说明

可以将数据按照相同的 Key Value 进行聚合

案例展示

1、wordcount可以参考我之前的文章,有使用到reduceByKey的方式实现;

2、对一组集合中的tuple数据按