zl程序教程

您现在的位置是:首页 >  后端

当前栏目

Spark 算子之map使用

MapSpark 算子 使用
2023-09-27 14:28:03 时间

前言


算子是spark中处理数据的重要的计算单元,RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型;

Map使用

map在spark的数据转换中有着重要的作用,开发中几乎离不开map的使用,基本语法:

def map[U: ClassTag](f: T => U ): RDD[ U ]

函数说明:

  • 将处理的数据逐条进行映射转换,这里的转换可以是类型的转换,也可以是值的转换

案例1

自定义一个List集合,将集合中的每个元素前面拼接一个字符串

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object MapRdd_1 {

  def main(args: Array[String]): Unit = {

    val sparkConf = new