MongoDB之MapReduce统计详解大数据

MongoDB之MapReduce相当于关系型数据库中的group by，主要用于统计数据之用。

在MongoDB javascript Shell中对Array对象进行了一些扩展，其中新增sum方法，以方便统计数据之用的。

Array.sum

function(arr){

if(arr.length == 0)

return null;

var s = arr[0];

for(var i = 1; i arr.length; i++)

s += arr[i];

return s;

}

而在浏览器端，js原生没有为Array提供sum方法的。

Array.sum为undefined。

先插入一些测试用的数据

db.mythings.insert({location: Guangzhou , age:20, name: j })

db.mythings.insert({location: Guangzhou , age:21, name: ji })

db.mythings.insert({location: Beijing , age:22, name: jim })

db.mythings.insert({location: Beijing , age:23, name: jimv })

db.mythings.insert({location: Guangzhou , age:25, name: jimvi })

db.mythings.insert({location: Shanghai , age:25, name: jimvin })

需求1：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人的岁数总和

var map = function(){ emit(this.location, this.age); }

var reduce = function( key, values ){ return Array.sum(values); }

var options = { out: age_totals }

db.mythings.mapReduce( map, reduce, options )

显示结果：

db.age_totals.find()

{

_id : Shanghai ,

value : 25

}

{

_id : Guangzhou ,

value : 66

}

{

_id : Beijing ,

value : 45

}

需求2：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人数总和

var map = function(){ emit(this.location, 1); }

var reduce = function( key, values ){ return Array.sum(values); }

var options = { out: person_totals }

db.mythings.mapReduce( map, reduce, options )

显示结果：

db.person_totals.find()

{

_id : Shanghai ,

value : 1

}

{

_id : Guangzhou ,

value : 3

}

{

_id : Beijing ,

value : 2

}

需求3：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人名列表

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return values.join( , ); }

var options = { out: name_totals }

db.mythings.mapReduce( map, reduce, options )

显示结果：

db.name_totals.find()

{

_id : Shanghai ,

value : jimviv

}

{

_id : Guangzhou ,

value : j, ji, jimvi

}

{

_id : Beijing ,

value : jim, jimv

}

需求4：统计不同地方（‘Guangzhou，Beijing，Shanghai’），并且年龄在25岁（不包括25岁）以下的人名列表

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

var options = { query: { age: {$lt: 25} }, out: name_totals }

db.mythings.mapReduce( map, reduce, options )

显示结果：

db.name_totals.find()

{

_id : Guangzhou ,

value : Guangzhou: j, ji

}

{

_id : Beijing ,

value : Beijing: jim, jimv

}

分析一下：

1. map部分

作用：用于分组的。

emit(param1, param2)

param1：需要分组的字段，this.字段名。

param2：需要进行统计的字段，this.字段名。

2. reduce部分

作用：处理需要统计的字段

var reduce = function(key, values){

统计字段处理

}

key： 指分组字段（emit的param1）对应的值

values：指需要统计的字段（emit的param2）值组成的数组

简单介绍统计常用的方法：

* 对数值类型进行求和

var reduce = function(key, values){

return Array.sum(values);

}

* 对字符串类型进行拼凑

var reduce = function(key, values){

return values.join( , );

}

3. options部分

{ query: { age: {$lt: 25} }, out: name_totals }

query：先筛选符合条件的记录出来，再进行分组统计。

out：将分组统计后的结果输出到哪个集合当中。

默认情况下，out所指定的集合在数据库断开连接后再次打开时，依旧存在，并保留之前的所有记录的。

4. 执行分组统计

db.集合名.mapReduce( map, reduce, options )

第二种写法（测试数据同上）：

db.mythings.ensureIndex({location:1, name:-1})

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,keeptemp: false

,query: { age:{ $lt: 25 }}

,sort:{ location:1, name:-1 }

}

)

显示结果：

db.a.find()

{

_id : Guangzhou ,

value : Guangzhou: ji, j

}

{

_id : Beijing ,

value : Beijing: jimv, jim

}

value的名字列表“ji,j” 和 “jim,jim” 都进行了降序排列，证明使用了sort功能。

解析：

mapreduce：

分组统计的集合名

举例：

mapreduce: mythings

不能写成mapreduce: mythings，否则报异常：mythings is not defined

注意：以下写法错误

var collection = db.mythings.find( { age: {$lt: 25} } )

db.runCommand(

{

mapreduce: collection

,map: map

,reduce: reduce

,out: a

,keeptemp: false

}

)

报错：{ ok : 0, errmsg : ns doesn t exist }

map,reduce ：

同上，不做阐述

out ：

将分组统计结果输出到某个集合。

注意：不能缺省，必须指定名称，否则报错，报错如下：

“exception: out has to be a string or an object”

keeptemp ：

是否保留临时集合（指out指定的集合）

keeptemp：false时会在数据库断开连接后，MongoDB会移除该集合的所有记录。而不是删除。

keeptemp：true时即使数据库断开连接后，再次连接上，该临时集合依旧保持之前所有记录。

keeptemp默认值为true。

query ：

筛选记录后，再进行分组统计

举例:

query: { age:{ $lt: 25 }}

sort ：

对分组统计的集合进行排序，也即先排序，后再执行分组统计的。

注意：这里的排序需要用到索引，必须先创建索引。

举例：

db.mythings.ensureIndex({location:1, name:-1})

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,sort:{ location:1, name:-1 }

}

)

limit ：对分组统计的集合先进行限制返回记录的条数，然后再去进行统计操作。注意：不要理解成对统计后的结果进行限制返回记录条数。

db.mythings.ensureIndex({location:1, name:-1})

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,keeptemp: false

,query: { age:{ $lt: 25 }}

,sort:{ location:1, name:-1 }

,limit:3

}

)

结果：

{

_id : Guangzhou ,

value : ji

}

{

_id : Beijing ,

value : Beijing: jimv, jim

}

verbose ：

显示时间统计信息，取值为true/false

举例:

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,verbose: true

}

)

在cmd控制台返回了以下结果

{

result : a

“timeMillis”:3

“timeing”:{

“mapTime”: 0

,“emitLoop”: 2

,“reduceTime”: 0

,“mode”: mixed

,“total”: 3

}

}

其中“timeing”就是对应的详细耗时信息。

finalize：

function(key, reducedValue){

return obj;

}

key： 指分组字段（emit的param1）对应的值

reducedValue：指reduce返回的结果

举例:

var final = function(key, reducedValue){

var obj = {};

obj.key = key;

obj.reducedValue = reducedValue

return obj;

}

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,finalize: final

}

)

结果：

{

_id : Guangzhou ,

value : {

key : Guangzhou ,

reducedValue : Guangzhou: ji, j

}

}

{

_id : Beijing ,

value : {

key : Beijing ,

reducedValue : Beijing: jimv, jim

}

}

scope：

为finalize、map、reduce指定this指针的作用域。

注意：不是像MongoDB权威指南中文版.pdf 所说的为finalize、map、reduce导入外部变量。

举例:

var final = function(key, reducedValue){

var obj = {};

obj.scope = this.scope;

obj.key = key;

obj.reducedValue = reducedValue

return obj;

}

var map = function(){ emit(this.location, this.name); }

var reduce = function( key, values ){ return key + ： + values.join( , ); }

db.runCommand(

{

mapreduce: mythings

,map: map

,reduce: reduce

,out: a

,finalize: final

,scope:{scope:4}

}

)

结果：

{

_id : Guangzhou ,

value : {

scope : 4,

key : Guangzhou ,

reducedValue : Guangzhou: ji, j

}

}

{

_id : Beijing ,

value : {

scope : 4,

key : Beijing ,

reducedValue : Beijing: jimv, jim

}

}

转载请注明来源网站:blog.ytso.com谢谢！

原创文章，作者：Maggie-Hunter，如若转载，请注明出处：https://blog.ytso.com/9701.html