python 对mongodb进行压力测试详解编程语言

最近对mongoDB数据库进行性能分析,需要对数据库进行加压。

加压时,最初采用threading模块写了个多线程程序,测试的效果不理想。

单机读数据库每秒请求数只能达到1000次/s.而开发的java程序请求数能达到6000-7000次/s。

证明受限于GIL,python的多线程表现确实不理想。

后来,采用了multiprocessing模块,采用多进程的方式进行加压。

经过测试证明,multiprocessing的性能还是不错,和开发java程序的性能相当。

脚本如下:

#!/usr/bin/env python 
 
from pymongo import Connection,MongoClient,MongoReplicaSetClient 
import multiprocessing 
import time 
 
 
#connection = MongoClient('mongodb://10.120.11.212:27017/') 
#connection = Connection(['10.120.11.122','10.120.11.221','10.120.11.212'], 27017) 
'''数据库采用了读写分离设置,连接mongoDB的模式要配对''' 
connection=MongoReplicaSetClient( 
        '10.120.11.122:27017,10.120.11.221:27017,10.120.11.212:27017', 
        replicaSet='rs0', 
        read_preference=3 
#        read_preference=3 
        ) 
db = connection['cms'] 
db.authenticate('cms', 'cms') 
 
#计时器 
def func_time(func): 
        def _wrapper(*args,**kwargs): 
                start = time.time() 
                func(*args,**kwargs) 
                print func.__name__,'run:',time.time()-start 
        return _wrapper 
#插入测试方法 
def insert(num): 
        posts = db.userinfo 
        for x in range(num): 
                post = {"_id" : str(x), 
                        "author": str(x), 
                        "text": "My first blog post!" 
                        } 
             posts.insert(post) 
#查询测试方法 
def query(num): 
    get=db.device 
    for i in xrange(num): 
         get.find_one({"scanid":"010000138101010000009aaaaa"}) 
 
 
@func_time 
def main(process_num,num): 
    pool = multiprocessing.Pool(processes=process_num) 
    for i in xrange(num): 
        pool.apply_async(query, (num, )) 
    pool.close() 
    pool.join() 
    print "Sub-process(es) done." 
 
if __name__ == "__main__": 
#    query(500,1) 
        main(800,500)

原文发表于http://www.cnblogs.com/reach296/

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/tech/pnotes/15556.html

(0)
上一篇 2021年7月19日 17:54
下一篇 2021年7月19日 17:54

相关推荐

发表回复

登录后才能评论