Spark多语言编程实践

Spark目前支持scala、python、JAVA编程。

作为Spark的原生语言，scala是开发Spark应用程序的***，其优雅简洁的代码，令开发过mapreduce代码的码农感觉象是上了天堂。

Spark提供了python的编程模型PySpark，使得python可以作为Spark开发语言之一。尽管现在PySpark还不能支持所有的Spark API，但是我们相信以后的支持度会越来越高；同时作为NOSQL的主力开发工具之一的python，一旦将NOSQL和Spark结合后，我们可以想象以后的发展前景。

至于Java，时间和精力允许的情况下再选吧。不过作为作为长期坐着写代码的码农，应该积极参加登山、会友之类的活动，为身体着想，还是不要选JAVA来编写Spark程序了。

废话了一堆，还是进行Spark的编程实践。

1：开发环境

主机wyy（192.168.100.111），内存16G

hadoop2.2.0伪分布式部署

Spark0.9.0 Standalone单机部署

python2.7.4

scala2.10.3

IDE使用IntelliJ IDEA 13.1

2：实验项目

2.1：sogou日志数据分析

实验数据来源：sogou精简版数据下载地址

以上数据格式是官方说明，实际上该数据集中排名和顺序号之间不是 分割，而是空格分割。

A：用户在00:00:00到12:00:00之间的查询数

B：搜索结果排名第?,但是点击次序排在第二的数据有多少?

C：一个session内查询次数最多的用户的session与相应的查询次数

2.2：Spark steaming实验

3：多语言编程实现

Spark的多语言编程实践之scala实现

Spark的多语言编程实践之python实现