flatMap作用
作用 flatMap
2023-09-14 09:11:54 时间
总结:1. map会将每一条输入映射为一个新对象。{苹果,梨子}.map(去皮) = {去皮苹果,去皮梨子} 其中: “去皮”函数的类型为:A => B
2.flatMap包含两个操作:会将每一个输入对象输入映射为一个新集合,然后把这些新集合连成一个大集合。 {苹果,梨子}.flatMap(切碎) = {苹果碎片1,苹果碎片2,梨子碎片1,梨子碎片2} 其中: “切碎”函数的类型为: A => List<B>
例如:spark单词计数
text_file = sc.textFile("hdfs://...") counts = text_file.flatMap(lambda line: line.split(" ")) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) counts.saveAsTextFile("hdfs://...")
相关文章
- 小程序商城开发注意事项与作用意义_OctShop
- 【说站】python concat方法的作用
- 大功率升压恒流芯片的作用
- Oracle 视图 ALL_APPLY_KEY_COLUMNS 官方解释,作用,如何使用详细说明
- Oracle 视图 DBA_DISCOVERY_SOURCE 官方解释,作用,如何使用详细说明
- Oracle 视图 USER_SOURCE_AE 官方解释,作用,如何使用详细说明
- Oracle 视图 DBA_HIST_LIBRARYCACHE 官方解释,作用,如何使用详细说明
- Oracle 视图 V$KERNEL_IO_OUTLIER 官方解释,作用,如何使用详细说明
- Oracle 参数 AUTOTASK_MAX_ACTIVE_PDBS 官方解释,作用,如何配置最优化建议
- Oracle 参数 SORT_AREA_SIZE 官方解释,作用,如何配置最优化建议
- MySQL Status Key_blocks_not_flushed 数据库状态作用意思及如何正确
- 德尔塔毒株未致病毒发生颠覆性改变:现有疫苗仍有预防和保护作用
- 深入MySQL井号的神奇作用解析(mysql中井号的作用)
- Oracle数据库中锁的作用及应用(oracle中锁的作用)