协助 mongodb 计算之子查询

【摘要】

      Mongodb 对表数据的子查询计算不如关系数据库操作方便，但通过集算器 SPL 语言来实现就容易多了，不用再担心 Mongodb 对子查询的操作。

Mongodb日常开发中，经常会遇到两个或多个数据表关联的子查询问题。若是关系数据库，其中的子查询大家相对比较熟悉，实现也比较容易。但Mongodb对子查询的支持不够友好，碰到这些复杂的运算就只能先将数据读出后再计算，而用Java等语言编写这类计算也不是很简单。这时，我们可以考虑用集算器SPL语言辅助实现子查询。SPL有丰富的接口及简洁的语法，能够极大地方便用户使用Mongodb，让子查询书写比较规范统一、效率高效，下面用例子说明。

       文档orders保存了订单数据，employee保存了员工数据，如下：

> db.orders.find();

{“_id” : ObjectId(“5434f88dd00ab5276493e270”), “ORDERID” : 1, “CLIENT” : “UJRNP”, “SELLERID” : 17, “AMOUNT” : 392, “ORDERDATE” : “2008/11/2 15:28” }

{“_id” : ObjectId(“5434f88dd00ab5276493e271”), “ORDERID” : 2, “CLIENT” : “SJCH”, “SELLERID” : 6, “AMOUNT” : 4802, “ORDERDATE” : “2008/11/9 15:28” }

{“_id” : ObjectId(“5434f88dd00ab5276493e272”), “ORDERID” : 3, “CLIENT” : “UJRNP”, “SELLERID” : 16, “AMOUNT” : 13500, “ORDERDATE” : “2008/11/5 15:28” }

{“_id” : ObjectId(“5434f88dd00ab5276493e273”), “ORDERID” : 4, “CLIENT” : “PWQ”, “SELLERID” : 9, “AMOUNT” : 26100, “ORDERDATE” : “2008/11/8 15:28” }
…

> db.employee.find();
{“_id” : ObjectId(“5437413513bdf2a4048f3480”), “EID” : 1, “NAME” : “Rebecca”, “SURNAME” : “Moore”, “GENDER” : “F”, “STATE” : “California”, “BIRTHDAY” : “1974-11-20”, “HIREDATE” : “2005-03-11”, “DEPT” : “R&D”, “SALARY” : 7000 }

{“_id” : ObjectId(“5437413513bdf2a4048f3481”), “EID” : 2, “NAME” : “Ashley”, “SURNAME” : “Wilson”, “GENDER” : “F”, “STATE” : “New York”, “BIRTHDAY” : “1980-07-19”, “HIREDATE” : “2008-03-16”, “DEPT” : “Finance”, “SALARY” : 11000 }

{“_id” : ObjectId(“5437413513bdf2a4048f3482”), “EID” : 3, “NAME” : “Rachel”, “SURNAME” : “Johnson”, “GENDER” : “F”, “STATE” : “New Mexico”, “BIRTHDAY” : “1970-12-17”, “HIREDATE” : “2010-12-01”, “DEPT” : “Sales”, “SALARY” : 9000 }
…

       要求查出订单信息，其中订单的SELLERID必须是employee集合中STATE= California的员工id。如果写成sql就是：
       Select * from orders where orders.sellerid in (select eid from employee where employee.state=’ California’)。

       同时，Orders的数据量较大无法一次取出，而employee的数据量较小，最终结果的数据量也较小。
       使用集算器SPL的代码如下：

A1: 连接MongoDB，连接字格式为mongo://ip:port/db?arg=value&…。
A2: 使用find函数从orders中取数，形成游标，过滤条件是空，指定键_id不取出。SPL的游标是分批读取和处理数据，可以避免数据量过大，以防内存溢出。
A3: 取得employee中的数据，条件是STATE=”California”。
A4: 将A3(employee)中的EID排序。
A5: 按照条件过滤orders数据，条件是SELLERID必须在A4中，相当于SELLERID in A4。其中，函数pos实现过滤条件，检测order的SELLERID值是否存在于employee的EID中。这里一次性取出所有数据结果，如果结果较大，也可以分批取出，比如取出前1000行：fetch(1000)。
计算结果是：                                             
A6: 关闭Mongodb连接。

      这个例子中，A2,A3获取两表相关的数据，A5中的select获取符合条件的数据，实现表的子查询。

      需要说明的是：集算器esProc并不包含mongodb的java驱动包。如果要用esProc访问mongodb，必须提前将mongodb的java驱动包（例如：mongo-java-driver-2.12.2.jar）放到集算器设置的外部库目录extLib/MongoCli下。

      除了在集算器中直接计算，上述使用SPL协助mongodb计算的脚本也很容易集成到java中，只要增加一行，写成return A5即可向java输出resultset形式的结果，具体的代码参考esProc教程。同样，用java调用esProc访问mongodb也必须将mongdb的java驱动包放到java程序的classpath中。

相关文章：
MongoDB 连接运算   
MongoDB 外键关联   
MongoDB 本地化排序   
MongoDB 子查询     
MongoDB 分组统计    
MongoDB 分组 topN    
MongoDB 关联运算   
MongoDB 子文档 List 字段 
协助 MongoDB 计算之交叉汇总 
将 MongoDB 导出成 csv  
协助报表开发之 MongoDB join