第2期Spark纯实战公益大讲坛:通过案例实战掌握Spark编程模型内幕
2023-09-27 14:26:48 时间
第2期Spark纯实战公益大讲坛:通过案例实战掌握Spark编程模型内幕
运行spark代码:
sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")
应用于广告点击排名
1、sc :spark shell运行的上下文
2、textFile("hdfs://...") 从hadoop hdfs中读取文件
3、faltMap(_.split("")) 将字符串以空格拆分
4、map(_,1) 统计单词计数
5、reduceByKey(_+_). 汇总累计
6. map(x=>(x._2),x._1)). 交换对偶对,次数在前,按单词出现次数排序
7、sortByKey(false). 按x._2排序 false是降序
8、map(x=>(x._2),x._1)). 再次交换对偶次序,单词在前
9、saveASTextFile(hdfs://...") 保存在hadoop hdfs文件中
为何有job0 运行?因为里面用到了RangePartitioner
DT大数据微信公众账号:DT_Spark
DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址:http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group
相关文章
- 案例解读华为隐私计算产品TICS如何实现城市跨部门数据隐私计算
- 数据分析-day06-pandas-dataFrame案例分析4:使用PeriodIndex将离散组成pandas的时间序列,然后统计不同时间段,两个地方的pm值走势
- 使用Hadoop分析数据——简单案例java语言编程之MaxTemperature
- 挑战编程:幸运数(失败案例)
- 通过案例学习 Secret - 每天5分钟玩转 Docker 容器技术(110)
- [C++/JavaScript]数据结构:栈和数列>案例引入(数制的转换)
- 案例九:shell脚本自动创建多个新用户,并设置密码
- 七月算法机器学习5 回归分析与工程应用 小案例
- 【Java】几种典型的内存溢出案例,都在这儿了!
- 个人网站设计:25个国外优秀案例带给你灵感
- 第44课:Spark 2.0编程实战之DataSet案例开发实战
- 第7.24节 Python案例详解:使用property函数定义属性简化属性访问代码实现
- 2018系统分析师案例分析真题背记内容
- 神经网络案例编程实战
- 初学 go 入门-案例-教程-记录(12)webapi 框架 Gin(四)前端请求并接收 Json
- 大数据Flink(二十四):Allowed Lateness案例演示
- windows网络编程 | 基于控制台的简单服务器/客户端程序(5.4小节随书案例)