MongoDB之MapReduce统计详解大数据

MongoDB之MapReduce相当于关系型数据库中的group by，主要用于统计数据之用。

在MongoDB javascript Shell中对Array对象进行了一些扩展，其中新增sum方法，以方便统计数据之用的。

>Array.sum

function(arr){

if(arr.length == 0)

return null;

var s = arr[0];

for(var i = 1; i < arr.length; i++)

s += arr[i];

return s;

}

而在浏览器端，js原生没有为Array提供sum方法的。

Array.sum为undefined。

先插入一些测试用的数据

>db.mythings.insert({location:’Guangzhou’, age:20, name:’j’})

>db.mythings.insert({location:’Guangzhou’, age:21, name:’ji’})

>db.mythings.insert({location:’Beijing’, age:22, name:’jim’})

>db.mythings.insert({location:’Beijing’, age:23, name:’jimv’})

>db.mythings.insert({location:’Guangzhou’, age:25, name:’jimvi’})

>db.mythings.insert({location:’Shanghai’, age:25, name:’jimvin’})

需求1：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人的岁数总和

>var map = function(){ emit(this.location, this.age); }

>var reduce = function( key, values ){ return Array.sum(values); }

>var options = { out: “age_totals” }

>db.mythings.mapReduce( map, reduce, options )

显示结果：

>db.age_totals.find()

{

“_id”: “Shanghai”,

“value”: 25

}

{

“_id”: “Guangzhou”,

“value”: 66

}

{

“_id”: “Beijing”,

“value”: 45

}

需求2：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人数总和

>var map = function(){ emit(this.location, 1); }

>var reduce = function( key, values ){ return Array.sum(values); }

>var options = { out: “person_totals” }

>db.mythings.mapReduce( map, reduce, options )

显示结果：

>db.person_totals.find()

{

“_id”: “Shanghai”,

“value”: 1

}

{

“_id”: “Guangzhou”,

“value”: 3

}

{

“_id”: “Beijing”,

“value”: 2

}

需求3：统计不同地方（‘Guangzhou，Beijing，Shanghai’）的人名列表

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return values.join(‘, ‘); }

>var options = { out: “name_totals” }

>db.mythings.mapReduce( map, reduce, options )

显示结果：

>db.name_totals.find()

{

“_id”: “Shanghai”,

“value”: “jimviv”

}

{

“_id”: “Guangzhou”,

“value”: “j, ji, jimvi”

}

{

“_id”: “Beijing”,

“value”: “jim, jimv”

}

需求4：统计不同地方（‘Guangzhou，Beijing，Shanghai’），并且年龄在25岁（不包括25岁）以下的人名列表

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>var options = { query: { age: {$lt: 25} }, out: “name_totals” }

>db.mythings.mapReduce( map, reduce, options )

显示结果：

>db.name_totals.find()

{

“_id”: “Guangzhou”,

“value”: “Guangzhou: j, ji”

}

{

“_id”: “Beijing”,

“value”: “Beijing: jim, jimv”

}

分析一下：

1. map部分

作用：用于分组的。

emit(param1, param2)

param1：需要分组的字段，this.字段名。

param2：需要进行统计的字段，this.字段名。

2. reduce部分

作用：处理需要统计的字段

var reduce = function(key, values){

……统计字段处理

}

key： 指分组字段（emit的param1）对应的值

values：指需要统计的字段（emit的param2）值组成的数组

简单介绍统计常用的方法：

* 对数值类型进行求和

var reduce = function(key, values){

return Array.sum(values);

}

* 对字符串类型进行拼凑

var reduce = function(key, values){

return values.join(‘, ‘);

}

3. options部分

{ query: { age: {$lt: 25} }, out: “name_totals” }

query：先筛选符合条件的记录出来，再进行分组统计。

out：将分组统计后的结果输出到哪个集合当中。

默认情况下，out所指定的集合在数据库断开连接后再次打开时，依旧存在，并保留之前的所有记录的。

4. 执行分组统计

>db.集合名.mapReduce( map, reduce, options )

第二种写法（测试数据同上）：

>db.mythings.ensureIndex({location:1, name:-1})

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,keeptemp: false

,query: { age:{ $lt: 25 }}

,sort:{ location:1, name:-1 }

}

)

显示结果：

>db.a.find()

{

“_id”: “Guangzhou”,

“value”: “Guangzhou: ji, j”

}

{

“_id”: “Beijing”,

“value”: “Beijing: jimv, jim”

}

value的名字列表“ji,j” 和 “jim,jim” 都进行了降序排列，证明使用了sort功能。

解析：

mapreduce：

分组统计的集合名

举例：

mapreduce: ‘mythings’

不能写成mapreduce: mythings，否则报异常：mythings is not defined

注意：以下写法错误

>var collection = db.mythings.find( { age: {$lt: 25} } )

>db.runCommand(

{

mapreduce:’collection’

,map: map

,reduce: reduce

,out: ‘a’

,keeptemp: false

}

)

报错：{ “ok”: 0, “errmsg”: “ns doesn’t exist” }

map,reduce ：

同上，不做阐述

out ：

将分组统计结果输出到某个集合。

注意：不能缺省，必须指定名称，否则报错，报错如下：

“exception: ‘out’ has to be a string or an object”

keeptemp ：

是否保留临时集合（指out指定的集合）

keeptemp：false时会在数据库断开连接后，MongoDB会移除该集合的所有记录。而不是删除。

keeptemp：true时即使数据库断开连接后，再次连接上，该临时集合依旧保持之前所有记录。

keeptemp默认值为true。

query ：

筛选记录后，再进行分组统计

举例:

query: { age:{ $lt: 25 }}

sort ：

对分组统计的集合进行排序，也即先排序，后再执行分组统计的。

注意：这里的排序需要用到索引，必须先创建索引。

举例：

>db.mythings.ensureIndex({location:1, name:-1})

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,sort:{ location:1, name:-1 }

}

)

limit ：对分组统计的集合先进行限制返回记录的条数，然后再去进行统计操作。注意：不要理解成对统计后的结果进行限制返回记录条数。

>db.mythings.ensureIndex({location:1, name:-1})

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,keeptemp: false

,query: { age:{ $lt: 25 }}

,sort:{ location:1, name:-1 }

,limit:3

}

)

结果：

{

“_id”: “Guangzhou”,

“value”: “ji”

}

{

“_id”: “Beijing”,

“value”: “Beijing: jimv, jim”

}

verbose ：

显示时间统计信息，取值为true/false

举例:

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,verbose: true

}

)

在cmd控制台返回了以下结果

{

“result”:”a”

“timeMillis”:3

“timeing”:{

“mapTime”: 0

,“emitLoop”: 2

,“reduceTime”: 0

,“mode”: “mixed”

,“total”: 3

}

}

其中“timeing”就是对应的详细耗时信息。

finalize：

function(key, reducedValue){

return obj;

}

key： 指分组字段（emit的param1）对应的值

reducedValue：指reduce返回的结果

举例:

>var final = function(key, reducedValue){

var obj = {};

obj.key = key;

obj.reducedValue = reducedValue

return obj;

}

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,finalize: final

}

)

结果：

{

“_id”: “Guangzhou”,

“value”: {

“key”: “Guangzhou”,

“reducedValue”: “Guangzhou: ji, j”

}

}

{

“_id”: “Beijing”,

“value”: {

“key”: “Beijing”,

“reducedValue”: “Beijing: jimv, jim”

}

}

scope：

为finalize、map、reduce指定this指针的作用域。

注意：不是像MongoDB权威指南中文版.pdf 所说的为finalize、map、reduce导入外部变量。

举例:

>var final = function(key, reducedValue){

var obj = {};

obj.scope = this.scope;

obj.key = key;

obj.reducedValue = reducedValue

return obj;

}

>var map = function(){ emit(this.location, this.name); }

>var reduce = function( key, values ){ return key + ‘： ‘ + values.join(‘, ‘); }

>db.runCommand(

{

mapreduce:’mythings’

,map: map

,reduce: reduce

,out: ‘a’

,finalize: final

,scope:{scope:4}

}

)

结果：

{

“_id”: “Guangzhou”,

“value”: {

“scope”: 4,

“key”: “Guangzhou”,

“reducedValue”: “Guangzhou: ji, j”

}

}

{

“_id”: “Beijing”,

“value”: {

“scope”: 4,

“key”: “Beijing”,

“reducedValue”: “Beijing: jimv, jim”

}

}

转载请注明来源网站:blog.ytso.com谢谢！