“NoSQL,指的是非關(guān)系型的數(shù)據(jù)庫。NoSQL有時也稱作Not Only SQL的縮寫,是對不同于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)的統(tǒng)稱。NoSQL用于超大規(guī)模數(shù)據(jù)的存儲。這些類型的數(shù)據(jù)存儲不需要固定的模式,無需多余操作就可以橫向擴展?!?/p>
創(chuàng)新互聯(lián)建站主要從事成都做網(wǎng)站、成都網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)溫宿,十年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):028-86922220
Web1.0的時代,數(shù)據(jù)訪問量很有限,用一夫當(dāng)關(guān)的高性能的單點服務(wù)器可以解決大部分問題。
隨著Web2.0的時代的到來,用戶訪問量大幅度提升,同時產(chǎn)生了大量的用戶數(shù)據(jù)。加上后來的智能移動設(shè)備的普及,所有的互聯(lián)網(wǎng)平臺都面臨了巨大的性能挑戰(zhàn)。
NoSQL(NoSQL = Not Only SQL ),意即“不僅僅是SQL”,泛指非關(guān)系型的數(shù)據(jù)庫。
NoSQL 不依賴業(yè)務(wù)邏輯方式存儲,而以簡單的key-value模式存儲。因此大大的增加了數(shù)據(jù)庫的擴展能力。
Memcache Memcache Redis Redis MongoDB MongoDB 列式數(shù)據(jù)庫 列式數(shù)據(jù)庫 Hbase Hbase
HBase是Hadoop項目中的數(shù)據(jù)庫。它用于需要對大量的數(shù)據(jù)進行隨機、實時的讀寫操作的場景中。
HBase的目標就是處理數(shù)據(jù)量非常龐大的表,可以用普通的計算機處理超過10億行數(shù)據(jù),還可處理有數(shù)百萬列元素的數(shù)據(jù)表。
Cassandra Cassandra
Apache Cassandra是一款免費的開源NoSQL數(shù)據(jù)庫,其設(shè)計目的在于管理由大量商用服務(wù)器構(gòu)建起來的龐大集群上的海量數(shù)據(jù)集(數(shù)據(jù)量通常達到PB級別)。在眾多顯著特性當(dāng)中,Cassandra最為卓越的長處是對寫入及讀取操作進行規(guī)模調(diào)整,而且其不強調(diào)主集群的設(shè)計思路能夠以相對直觀的方式簡化各集群的創(chuàng)建與擴展流程。
主要應(yīng)用:社會關(guān)系,公共交通網(wǎng)絡(luò),地圖及網(wǎng)絡(luò)拓譜(n*(n-1)/2)
目前存儲海量數(shù)據(jù)的技術(shù)主要包括NoSQL、分布式文件系統(tǒng)、和傳統(tǒng)關(guān)系型數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)行業(yè)不斷的發(fā)展,產(chǎn)生的數(shù)據(jù)量越來越多,并且這些數(shù)據(jù)的特點是半結(jié)構(gòu)化和非結(jié)構(gòu)化,數(shù)據(jù)很可能是不精確的,易變的。這樣傳統(tǒng)關(guān)系型數(shù)據(jù)庫就無法發(fā)揮它的優(yōu)勢。因此,目前互聯(lián)網(wǎng)行業(yè)偏向于使用NoSQL和分布式文件系統(tǒng)來存儲海量數(shù)據(jù)。
下面介紹下常用的NoSQL和分布式文件系統(tǒng)。
NoSQL
互聯(lián)網(wǎng)行業(yè)常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據(jù)為Google論文 Bigtable: A Distributed Storage System for Structured Data開發(fā)的。HBase適合存儲半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。HBase的數(shù)據(jù)模型是稀疏的、分布式的、持久穩(wěn)固的多維map。HBase也有行和列的概念,這是與RDBMS相同的地方,但卻又不同。HBase底層采用HDFS作為文件系統(tǒng),具有高可靠性、高性能。
MongoDB是一種支持高性能數(shù)據(jù)存儲的開源文檔型數(shù)據(jù)庫。支持嵌入式數(shù)據(jù)模型以減少對數(shù)據(jù)庫系統(tǒng)的I/O、利用索引實現(xiàn)快速查詢,并且嵌入式文檔和集合也支持索引,它復(fù)制能力被稱作復(fù)制集(replica set),提供了自動的故障遷移和數(shù)據(jù)冗余。MongoDB的分片策略將數(shù)據(jù)分布在服務(wù)器集群上。
Couchbase這種NoSQL有三個重要的組件:Couchbase服務(wù)器、Couchbase Gateway、Couchbase Lite。Couchbase服務(wù)器,支持橫向擴展,面向文檔的數(shù)據(jù)庫,支持鍵值操作,類似于SQL查詢和內(nèi)置的全文搜索;Couchbase Gateway提供了用于RESTful和流式訪問數(shù)據(jù)的應(yīng)用層API。Couchbase Lite是一款面向移動設(shè)備和“邊緣”系統(tǒng)的嵌入式數(shù)據(jù)庫。Couchbase支持千萬級海量數(shù)據(jù)存儲
分布式文件系統(tǒng)
如果針對單個大文件,譬如超過100MB的文件,使用NoSQL存儲就不適當(dāng)了。使用分布式文件系統(tǒng)的優(yōu)勢在于,分布式文件系統(tǒng)隔離底層數(shù)據(jù)存儲和分布的細節(jié),展示給用戶的是一個統(tǒng)一的邏輯視圖。常用的分布式文件系統(tǒng)有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發(fā)短信、用彩鈴的“老三樣”,移動互聯(lián)網(wǎng)的發(fā)展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網(wǎng)頁、地圖導(dǎo)航、網(wǎng)上購物、外賣訂餐等,這些業(yè)務(wù)的海量數(shù)據(jù)都構(gòu)建在大規(guī)模網(wǎng)絡(luò)云資源池之上。當(dāng)14億中國人把衣食住行搬上移動互聯(lián)網(wǎng)的同時,也給網(wǎng)絡(luò)云資源池帶來巨大業(yè)務(wù)挑戰(zhàn)。
首先,用戶需求動態(tài)變化,傳統(tǒng)業(yè)務(wù)流量主要是端到端模式,較為穩(wěn)定;而互聯(lián)網(wǎng)流量易受熱點內(nèi)容牽引,數(shù)據(jù)流量流向復(fù)雜和規(guī)模多變:比如雙十一購物狂潮,電商平臺訂單創(chuàng)建峰值達到58.3萬筆,要求通信網(wǎng)絡(luò)提供高并發(fā)支持;又如優(yōu)酷春節(jié)期間有超過23億人次上網(wǎng)刷劇、抖音拜年短視頻增長超10倍,需要通信網(wǎng)絡(luò)能夠靈活擴充帶寬。面對用戶動態(tài)多變的需求,通信網(wǎng)絡(luò)需要具備快速洞察和響應(yīng)用戶需求的能力,提供高效、彈性、智能的數(shù)據(jù)服務(wù)。
“隨著通信網(wǎng)絡(luò)管道十倍百倍加粗、節(jié)點數(shù)從千萬級逐漸躍升至百億千億級,如何‘接得住、存得下’海量數(shù)據(jù),成為網(wǎng)絡(luò)云資源池建設(shè)面臨的巨大考驗”,李輝表示。一直以來,作為新數(shù)據(jù)存儲首倡者和引領(lǐng)者,浪潮存儲攜手通信行業(yè)用戶,不斷 探索 提速通信網(wǎng)絡(luò)云基礎(chǔ)設(shè)施的各種姿勢。
早在2018年,浪潮存儲就參與了通信行業(yè)基礎(chǔ)設(shè)施建設(shè),四年內(nèi)累計交付約5000套存儲產(chǎn)品,涵蓋全閃存儲、高端存儲、分布式存儲等明星產(chǎn)品。其中在網(wǎng)絡(luò)云建設(shè)中,浪潮存儲已連續(xù)兩年兩次中標全球最大的NFV網(wǎng)絡(luò)云項目,其中在網(wǎng)絡(luò)云二期建設(shè)中,浪潮存儲提供數(shù)千節(jié)點,為上層網(wǎng)元、應(yīng)用提供高效數(shù)據(jù)服務(wù)。在最新的NFV三期項目中,浪潮存儲也已中標。
能夠與通信用戶在網(wǎng)絡(luò)云建設(shè)中多次握手,背后是浪潮存儲的持續(xù)技術(shù)投入與創(chuàng)新。浪潮存儲6年內(nèi)投入超30億研發(fā)經(jīng)費,開發(fā)了業(yè)界首個“多合一”極簡架構(gòu)的浪潮并行融合存儲系統(tǒng)。此存儲系統(tǒng)能夠統(tǒng)籌管理數(shù)千個節(jié)點,實現(xiàn)性能、容量線性擴展;同時基于浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等功能,與自研NVMe SSD閃存盤進行系統(tǒng)級別聯(lián)調(diào)優(yōu)化,讓百萬級IO均衡落盤且路徑更短,將存儲系統(tǒng)性能發(fā)揮到極致。
“為了確保全球最大規(guī)模的網(wǎng)絡(luò)云正常上線運行,我們聯(lián)合用戶對存儲集群展開了長達數(shù)月的魔鬼測試”,浪潮存儲工程師表示。網(wǎng)絡(luò)云的IO以虛擬機數(shù)據(jù)和上層應(yīng)用數(shù)據(jù)為主,浪潮按照每個存儲集群支持15000臺虛機進行配置,分別對單卷隨機讀寫、順序?qū)?、混合讀寫以及全系統(tǒng)隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試,達到了通信用戶提出的單卷、系統(tǒng)性能不低于4萬和12萬IOPS、時延小于3ms的要求,產(chǎn)品成熟度得到了驗證。
以通信行業(yè)為例,2020年全國移動互聯(lián)網(wǎng)接入流量1656億GB,相當(dāng)于中國14億人每人消耗118GB數(shù)據(jù);其中春節(jié)期間,移動互聯(lián)網(wǎng)更是創(chuàng)下7天消耗36億GB數(shù)據(jù)流量的記錄,還“捎帶”打了548億分鐘電話、發(fā)送212億條短信……海量實時數(shù)據(jù)洪流,在網(wǎng)絡(luò)云資源池(NFV)支撐下收放自如,其中分布式存儲平臺發(fā)揮了作用。如此樣板工程,其巨大示范及拉動作用不言而喻。
本文標題:nosql存儲大量數(shù)據(jù),nosql具有非常豐富的數(shù)據(jù)類型
網(wǎng)頁地址:http://jinyejixie.com/article40/dsecgeo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供全網(wǎng)營銷推廣、App設(shè)計、移動網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、網(wǎng)站導(dǎo)航、營銷型網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)