MongoDB性能測試與Python測試代碼

最近參與公司一個項目，計劃對在線平臺的大規(guī)模查詢做到快速響應(yīng)，預(yù)估數(shù)據(jù)總量大概在2-3億條，數(shù)據(jù)庫并發(fā)量大概每秒1500，一年后并發(fā)大概3000每秒，經(jīng)過在redis和MongoDB之間艱難的選擇之后，決定使用mongodb，主要看中其平行擴(kuò)展能力和GridFS上的Map/Reduce。預(yù)估項目完成上線后，高峰時段每秒并發(fā)查詢在1500-3000之間。

其實(shí)我個人是比較喜歡Redis的，其并發(fā)查詢能力和超越memcached的速度都很令人心動，不過其持久化和集群擴(kuò)展性不太適合業(yè)務(wù)需要，所以最后還是選擇了mongodb。

下面是對mongodb測試的代碼和結(jié)果。雖然公司用的一水的CentOS，但是由于我是FreeBSD的支持者，所以在FreeBSD和CentOS上都測試了一下結(jié)果。

寫庫程序是網(wǎng)上抄來的，查詢程序是自己寫的。

寫庫程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

#時間記錄器
def func_time(func):
        def _wrapper(*args,**kwargs):
                start = time.time()
                func(*args,**kwargs)
                print func.__name__,'run:',time.time()-start
        return _wrapper

@func_time
def insert(num):
        posts = db.userinfo
        for x in range(num):
                post = {"_id" : str(x),
                        "author": str(x)+"Mike",
                        "text": "My first blog post!",
                        "tags": ["mongodb", "python", "pymongo"],
                        "date": datetime.datetime.utcnow()}
                posts.insert(post)

if __name__ == "__main__":
#設(shè)定循環(huán)500萬次
num = 5000000
insert(num)

查詢程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime
import random

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

def func_time(func):
                def _wrapper(*args,**kwargs):
                                start = time.time()
                                func(*args,**kwargs)
                                print func.__name__,'run:',time.time()-start
                return _wrapper

#@func_time
def randy():
                rand = random.randint(1,5000000)
                return rand

@func_time
def mread(num):
                find = db.userinfo
                for i in range(num):
                                rand = randy()
#隨機(jī)數(shù)查詢
                                find.find({"author": str(rand)+"Mike"})

if __name__ == "__main__":
#設(shè)定循環(huán)100萬次
                num = 1000000
mread(num)

刪除程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

def func_time(func):
        def _wrapper(*args,**kwargs):
                start = time.time()
                func(*args,**kwargs)
                print func.__name__,'run:',time.time()-start
        return _wrapper

@func_time
def remove():
        posts = db.userinfo
        print 'count before remove:',posts.count();
        posts.remove({});
        print 'count after remove:',posts.count();

if __name__ == "__main__":
        remove()

結(jié)果集

	插入500萬	隨機(jī)數(shù)查詢100萬	刪除500萬	CPU占用
CentOS	394s	28s	224s	25-30%
FreeBSD	431s	18s	278s	20-22%

CentOS插入和刪除勝出；FreeBSD發(fā)揮了UFS2的優(yōu)勢，讀取勝出。

由于是作為查詢服務(wù)器使用，所以讀取速度快是個優(yōu)勢，不過我不是領(lǐng)導(dǎo)，我說了不算，最終還是得CentOS。

在測試中，一直使用mongostat監(jiān)控，從并發(fā)數(shù)量上，兩個系統(tǒng)差不多。還測試了插入并發(fā)查詢，不過結(jié)果差不多，大概并發(fā)的相加和都是15000-25000每秒。性能還是很不錯的。

不過確實(shí)大數(shù)據(jù)量下插入性能下降比較嚴(yán)重，CentOS測試了5000萬數(shù)據(jù)插入，耗時接近2小時。大概是6300多秒。比起500萬數(shù)據(jù)插入速度，差不多慢了50%。不過查詢速度還算差不多。

測試結(jié)果供需要者做個參考。

不過，這個測試不是太公平。FreeBSD配置要差一點(diǎn)。

CentOS 16G內(nèi)存，Xeon5606 兩顆8核。Dell品牌機(jī)。

FreeBSD 8G內(nèi)存，Xeon5506 一顆4核。攢的沒牌子1U。

如果相同環(huán)境下，我覺得還是FreeBSD性能會比較好一點(diǎn)。

網(wǎng)站名稱：MongoDB性能測試與Python測試代碼
本文網(wǎng)址：http://jinyejixie.com/article0/jpdiio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、企業(yè)建站、全網(wǎng)營銷推廣、網(wǎng)站策劃、小程序開發(fā)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

MongoDB性能測試與Python測試代碼