Spark 算子之map使用
2023-09-27 14:28:03 时间
前言
算子是spark中处理数据的重要的计算单元,RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型;
Map使用
map在spark的数据转换中有着重要的作用,开发中几乎离不开map的使用,基本语法:
def map[U: ClassTag](f: T => U ): RDD[ U ]
函数说明:
- 将处理的数据逐条进行映射转换,这里的转换可以是类型的转换,也可以是值的转换
案例1
自定义一个List集合,将集合中的每个元素前面拼接一个字符串
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
object MapRdd_1 {
def main(args: Array[String]): Unit = {
val sparkConf = new
相关文章
- Java8⾼效遍历map_Java8中Map的遍历⽅式总结
- ES6中map对象的使用,确实比Object好使哈
- STL 之 hash_map源代码剖析
- MyBatis传入参数为list、数组、map写法
- map遍历方法
- 在WebStorm里配置watcher实现编辑less文件时自动生成.map和压缩后的.css文件
- Charles学习(三)之使用Map local代理本地静态资源以及配置网页代理在Mac模拟器调试iOS客户端
- golang-map
- Flutter map List 等数据类型对应Android IOS的类型
- es6笔记5^_^set、map、iterator
- ES6 从入门到精通 # 11:Map 数据类型
- 再谈序列化之rpc调用失败和jackson序列化时不允许Map中的key为null
- 解析js数组中的map,filter, reduce, find, some, every方法的实现原理