MongoDB分片介紹

分片的目的

高數(shù)據(jù)量和吞吐量的數(shù)據(jù)庫應(yīng)用會對單機(jī)的性能造成較大壓力,大的查詢量會將單機(jī)的CPU耗盡,大的數(shù)據(jù)量對單機(jī)的存儲壓力較大,最終會耗盡系統(tǒng)的內(nèi)存而將壓力轉(zhuǎn)移到磁盤IO上。

創(chuàng)新互聯(lián)服務(wù)項目包括柳北網(wǎng)站建設(shè)、柳北網(wǎng)站制作、柳北網(wǎng)頁制作以及柳北網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，柳北網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到柳北省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

為了解決這些問題,有兩個基本的方法: 垂直擴(kuò)展和水平擴(kuò)展。

垂直擴(kuò)展：增加更多的CPU和存儲資源來擴(kuò)展容量。

水平擴(kuò)展：將數(shù)據(jù)集分布在多個服務(wù)器上。水平擴(kuò)展即分片。

        分片為應(yīng)對高吞吐量與大數(shù)據(jù)量提供了方法。使用分片減少了每個分片需要處理的請求數(shù)，因此，通過水平擴(kuò)展，集群可以提高自己的存儲容量和吞吐量。舉例來說，當(dāng)插入一條數(shù)據(jù)時，應(yīng)用只需要訪問存儲這條數(shù)據(jù)的分片,使用分片減少了每個分片存儲的數(shù)據(jù)。

分片集群架構(gòu)

（1）mongos ：數(shù)據(jù)路由，和客戶端打交道的模塊。mongos本身沒有任何數(shù)據(jù)，他也不知道該怎么處理這數(shù)據(jù)，去找config server

（2）config server：所有存、取數(shù)據(jù)的方式，所有shard節(jié)點的信息，分片功能的一些配置信息?？梢岳斫鉃檎鎸崝?shù)據(jù)的元數(shù)據(jù)。

（3）shard：真正的數(shù)據(jù)存儲位置，以chunk為單位存數(shù)據(jù)。

架構(gòu)圖

環(huán)境說明

系統(tǒng)版本：CentOS Linux release 7.5.1804 (Core)

防火墻SE關(guān)閉

mongodb版本：mongodb-linux-x86_64-3.2.1.tgz

前期準(zhǔn)備，在root用戶下操作

采用Mongodb多實例進(jìn)行

解壓移動mongodb安裝包

tar zxvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/

cd /opt/
mv mongodb-linux-x86_64-3.2.1/ /usr/local/mongodb

建立軟連接方便管理

cd /usr/local/mongodb/
cd bin/
ln -s /usr/local/mongodb/bin/mongo /usr/bin/mongo
ln -s /usr/local/mongodb/bin/mongod /usr/bin/mongod

創(chuàng)建所需目錄

mkdir -p /data/mongodb/mongodb{1,2,3,4}
cd /data/mongodb/
mkdir logs
cd logs/
touch mongodb{1,2,3,4}.log
chmod 777 *.log

優(yōu)化進(jìn)程以及打開文件數(shù)量

ulimit -u 25000
ulimit -n 25000

編輯配置文件（修改加粗項目）

cd /usr/local/mongodb/bin/
vim mongodb1.conf

port=37017
dbpath=/data/mongodb/mongodb1
logpath=/data/mongodb/logs/mongodb1.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
configsvr=true     //指定為配置服務(wù)器

內(nèi)存分?jǐn)偅耗彻?jié)點內(nèi)存不足時，從其他節(jié)點分配內(nèi)存

sysctl -w vm.zone_reclaim_mode=0
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

復(fù)制修改2，3的配置文件（修改粗體處）

cp -p mongodb1.conf mongodb2.conf
vim mongodb2.conf
port=47017
dbpath=/data/mongodb/mongodb2
logpath=/data/mongodb/logs/mongodb2.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true
cp -p mongodb2.conf mongodb3.conf
vim mongodb3.conf
port=47018
dbpath=/data/mongodb/mongodb3
logpath=/data/mongodb/logs/mongodb3.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
shardsvr=true

啟動服務(wù)

mongod -f mongodb1.conf
mongod -f mongodb2.conf
mongod -f mongodb3.conf

開啟路由模式

./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.137.13:37017 --chunkSize 1

到此復(fù)制集配置完成

測試

登陸

[root@cent bin]# mongo
MongoDB shell version: 3.2.1
connecting to: test
Welcome to the MongoDB shell.
…
mongos>                                  //這里顯示用mongs登陸成功（配置服務(wù)器）

查看是否又分片服務(wù)器

mongos> sh.status()
]--- Sharding Status ---
 sharding version: {
   "_id" : 1,
   "minCompatibleVersion" : 5,
   "currentVersion" : 6,
   "clusterId" : ObjectId("5b9e394051c099916cc7b236")
}
 shards:                              //這里沒有東西，那就是還沒有創(chuàng)建分片服務(wù)器
 active mongoses:
   "3.2.1" : 1
 balancer:
   Currently enabled: yes
   Currently running: no
   Failed balancer rounds in last 5 attempts: 0
   Migration Results for the last 24 hours:
       No recent migrations
 databases:

添加分片服務(wù)器

mongos> sh.addShard("192.168.137.13:47017")                                     //添加47017
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("192.168.137.13:47018")                                    //添加47018
{ "shardAdded" : "shard0001", "ok" : 1 }
mongos> sh.status()
--- Sharding Status ---
 sharding version: {
   "_id" : 1,
   "minCompatibleVersion" : 5,
   "currentVersion" : 6,
   "clusterId" : ObjectId("5b9e394051c099916cc7b236")
}
 shards:
   { "_id" : "shard0000", "host" : "192.168.137.13:47017" }                  //看到添加成功了
   { "_id" : "shard0001", "host" : "192.168.137.13:47018" }
 active mongoses:
   "3.2.1" : 1
 balancer:
   Currently enabled: yes
   Currently running: no
   Failed balancer rounds in last 5 attempts: 0
   Migration Results for the last 24 hours:
       No recent migrations
 databases：

給數(shù)據(jù)庫添加一些東西，看看它是否會分片。

mongos> use mood
switched to db mood
mongos> for(var i=1;i<=10000;i++)db.info.insert({"id":i,"name":"makee"+i})
WriteResult({
   "writeError" : {
       "code" : 70,
       "errmsg" : "unable to target write op for collection mood.info :: caused by :: ShardNotFound No shards found"
   }
})
mongos> sh.status()
--- Sharding Status ---
 sharding version: {
   "_id" : 1,
   "minCompatibleVersion" : 5,
   "currentVersion" : 6,
   "clusterId" : ObjectId("5ba24eeef6c5933feb7b6cf5")
}
 shards:
 active mongoses:
   "3.2.1" : 1
 balancer:
   Currently enabled: yes
   Currently running: no
   Failed balancer rounds in last 5 attempts: 0
   Migration Results for the last 24 hours:
       No recent migrations
 databases:                                    //并沒有

因為我們需要啟動分片才可以，下面啟動它

mongos> sh.enableSharding("mood")       //開啟數(shù)據(jù)庫分片
{ "ok" : 1 }
mongos> db.info.createIndex({"id":1})           //創(chuàng)建表索引
{
   "raw" : {
       "192.168.137.13:47017" : {
           "createdCollectionAutomatically" : false,
           "numIndexesBefore" : 1,
           "numIndexesAfter" : 2,
           "ok" : 1
       }
   },
   "ok" : 1
}
mongos> sh.shardCollection("mood.info",{"id":1})  //表分片

{ "collectionsharded" : "mood.info", "ok" : 1 }
mongos> sh.status()        //查看結(jié)果
--- Sharding Status ---
 sharding version: {
   "_id" : 1,
   "minCompatibleVersion" : 5,
   "currentVersion" : 6,
   "clusterId" : ObjectId("5ba3b64dcc3cc1318414a128")
}
 shards:
   { "_id" : "shard0000", "host" : "192.168.137.13:47017" }
   { "_id" : "shard0001", "host" : "192.168.137.13:47018" }
 active mongoses:
   "3.2.1" : 1
 balancer:
   Currently enabled: yes
   Currently running: no
   Failed balancer rounds in last 5 attempts: 0
   Migration Results for the last 24 hours:
       1 : Success
 databases:
   { "_id" : "mood", "primary" : "shard0000", "partitioned" : true }
       mood.info
           shard key: { "id" : 1 }
           unique: false
           balancing: true
           chunks:
               shard0000   2
               shard0001   1
           { "id" : { "$minKey" : 1 } } -->> { "id" : 4682 } on : shard0001 Timestamp(2, 0)       //已經(jīng)開始分片了
           { "id" : 4682 } -->> { "id" : 9364 } on : shard0000 Timestamp(2, 1)
           { "id" : 9364 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp(1, 2)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：Mongodb基操--分片群集操作詳解-創(chuàng)新互聯(lián)
URL分享：http://jinyejixie.com/article42/cesphc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、商城網(wǎng)站、企業(yè)建站、外貿(mào)建站、定制網(wǎng)站、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)