NoSQL 數(shù)據(jù)庫：何時(shí)使用 NoSQL 與 SQL？

NoSQL 數(shù)據(jù)庫因其功能性、易于開發(fā)性和可擴(kuò)展性而廣受認(rèn)可，它們?cè)絹碓蕉嗟赜糜诖髷?shù)據(jù)和實(shí)時(shí) Web 應(yīng)用程序，在本文中，我們通過示例討論 NoSQL、何時(shí)使用 NoSQL 與 SQL 及其用例。

站在用戶的角度思考問題，與客戶深入溝通，找到德陽網(wǎng)站設(shè)計(jì)與德陽網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：做網(wǎng)站、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、申請(qǐng)域名、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋德陽地區(qū)。

NoSQL是一種下一代數(shù)據(jù)庫管理系統(tǒng) (DBMS)。NoSQL 數(shù)據(jù)庫具有靈活的模式，可用于構(gòu)建具有大量數(shù)據(jù)和高負(fù)載的現(xiàn)代應(yīng)用程序。

“NoSQL”一詞最初是由 Carlo Strozzi 在 1998 年創(chuàng)造的，盡管自 1960 年代后期以來就已經(jīng)存在類似的數(shù)據(jù)庫。然而，NoSQL 的發(fā)展始于 2009 年初，并且發(fā)展迅速。

在處理大量數(shù)據(jù)時(shí)，任何關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 的響應(yīng)時(shí)間都會(huì)變慢。為了解決這個(gè)問題，我們可以通過升級(jí)現(xiàn)有硬件來“擴(kuò)大”信息系統(tǒng)，這非常昂貴。但是，NoSQL 可以更好地橫向擴(kuò)展并且更具成本效益。

NoSQL 對(duì)于非結(jié)構(gòu)化或非常大的數(shù)據(jù)對(duì)象（例如聊天日志數(shù)據(jù)、視頻或圖像）非常有用，這就是為什么 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯(lián)網(wǎng)巨頭中特別受歡迎的原因。

一些流行的 NoSQL 數(shù)據(jù)庫包括：

隨著企業(yè)更快地積累更大的數(shù)據(jù)集，結(jié)構(gòu)化數(shù)據(jù)和關(guān)系模式并不總是適合。有必要使用非結(jié)構(gòu)化數(shù)據(jù)和大型對(duì)象來更好地捕獲這些信息。

傳統(tǒng)的 RDBMS 使用 SQL（結(jié)構(gòu)化查詢語言）語法來存儲(chǔ)和檢索結(jié)構(gòu)化數(shù)據(jù)，相反，NoSQL 數(shù)據(jù)庫包含廣泛的功能，可以存儲(chǔ)和檢索結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和多態(tài)數(shù)據(jù)。

有時(shí)，NoSQL 也被稱為“ 不僅僅是 SQL ”，強(qiáng)調(diào)它可能支持類似 SQL 的語言或與 SQL 數(shù)據(jù)庫并列。SQL 和 NoSQL DBMS 之間的一個(gè)區(qū)別是 JOIN 功能。SQL 數(shù)據(jù)庫使用 JOIN 子句來組合來自兩個(gè)或多個(gè)表的行，因?yàn)?NoSQL 數(shù)據(jù)庫本質(zhì)上不是表格的，所以這個(gè)功能并不總是可行或相關(guān)的。

但是，一些 NoSQL DBMS 可以執(zhí)行類似于 JOIN的操作——就像 MongoDB 一樣。這并不意味著不再需要 SQL DBMS，相反，NoSQL 和 SQL 數(shù)據(jù)庫傾向于以不同的方式解決類似的問題。

一般來說，在以下情況下，NoSQL 比 SQL 更可?。?/p>

許多行業(yè)都在采用 NoSQL，取代關(guān)系數(shù)據(jù)庫，從而為某些業(yè)務(wù)應(yīng)用程序提供更高的靈活性和可擴(kuò)展性，下面給出了 NoSQL 數(shù)據(jù)庫的一些企業(yè)用例。

內(nèi)容管理是一組用于收集、管理、傳遞、檢索和發(fā)布任何格式的信息的過程，包括文本、圖像、音頻和視頻。NoSQL 數(shù)據(jù)庫可以通過其靈活和開放的數(shù)據(jù)模型為存儲(chǔ)多媒體內(nèi)容提供更好的選擇。

例如，福布斯在短短幾個(gè)月內(nèi)就構(gòu)建了一個(gè)基于 MongoDB 的定制內(nèi)容管理系統(tǒng)，以更低的成本為他們提供了更大的敏捷性。

大數(shù)據(jù)是指太大而無法通過傳統(tǒng)處理系統(tǒng)處理的數(shù)據(jù)集，實(shí)時(shí)存儲(chǔ)和檢索大數(shù)據(jù)的系統(tǒng)在分析 歷史 數(shù)據(jù)的同時(shí)使用流處理來攝取新數(shù)據(jù)，這是一系列非常適合 NoSQL 數(shù)據(jù)庫的功能。

Zoom使用 DynamoDB（按需模式）使其數(shù)據(jù)能夠在沒有性能問題的情況下進(jìn)行擴(kuò)展，即使該服務(wù)在 COVID-19 大流行的早期使用量激增。

物聯(lián)網(wǎng)設(shè)備具有連接到互聯(lián)網(wǎng)或通信網(wǎng)絡(luò)的嵌入式軟件和傳感器，能夠在無需人工干預(yù)的情況下收集和共享數(shù)據(jù)。隨著數(shù)十億臺(tái)設(shè)備生成數(shù)不清的數(shù)據(jù)，IoT NoSQL 數(shù)據(jù)庫為 IoT 服務(wù)提供商提供了可擴(kuò)展性和更靈活的架構(gòu)。

Freshub就是這樣的一項(xiàng)服務(wù)，它從 MySQL 切換到 MongoDB，以更好地處理其大型、動(dòng)態(tài)、非統(tǒng)一的數(shù)據(jù)集。

擁有數(shù)十億智能手機(jī)用戶，可擴(kuò)展性正成為在移動(dòng)設(shè)備上提供服務(wù)的企業(yè)面臨的最大挑戰(zhàn)。具有更靈活數(shù)據(jù)模型的 NoSQL DBMS 通常是完美的解決方案。

例如，The Weather Channel使用 MongoDB 數(shù)據(jù)庫每分鐘處理數(shù)百萬個(gè)請(qǐng)求，同時(shí)還處理用戶數(shù)據(jù)并提供天氣更新。

NoSQL數(shù)據(jù)庫是否意味著缺乏安全性？

NoSQL薄弱的安全性會(huì)給企業(yè)帶來負(fù)面影響 。Imperva公司創(chuàng)始人兼CTO Amichai Shulman如是說。在新的一年中，無疑會(huì)有更多企業(yè)開始或籌劃部署NoSQL。方案落實(shí)后就會(huì)逐漸發(fā)現(xiàn)種種安全問題，因此早做準(zhǔn)備才是正確的選擇。 作為傳統(tǒng)關(guān)系型數(shù)據(jù)庫的替代方案，NoSQL在查詢中并不使用SQL語言，而且允許用戶隨時(shí)變更數(shù)據(jù)屬性。此類數(shù)據(jù)庫以擴(kuò)展性良好著稱，并能夠在需要大量應(yīng)用程序與數(shù)據(jù)庫本身進(jìn)行實(shí)時(shí)交互的交易處理任務(wù)中發(fā)揮性能優(yōu)勢(shì)，Couchbase創(chuàng)始人兼產(chǎn)品部門高級(jí)副總裁James Phillips解釋稱：NoSQL以交易業(yè)務(wù)為核心。它更注重實(shí)時(shí)處理能力并且擅長(zhǎng)直接對(duì)數(shù)據(jù)進(jìn)行操作，大幅度促進(jìn)了交互型軟件系統(tǒng)的發(fā)展。Phillips指出。其中最大的優(yōu)勢(shì)之一是能夠隨時(shí)改變(在屬性方面)，由于結(jié)構(gòu)性的弱化，修改過程非常便捷。 NoSQL最大優(yōu)勢(shì)影響其安全性 NoSQL的關(guān)鍵性特色之一是其動(dòng)態(tài)的數(shù)據(jù)模型，Shulman解釋道。我可以在其運(yùn)作過程中加入新的屬性記錄。因此與這種結(jié)構(gòu)相匹配的安全模型必須具備一定的前瞻性規(guī)劃。也就是說，它必須能夠了解數(shù)據(jù)庫引入的新屬性將引發(fā)哪些改變，以及新加入的屬性擁有哪些權(quán)限。然而這個(gè)層面上的安全概念目前尚不存在，根本沒有這樣的解決方案。 根據(jù)Phillips的說法，某些NoSQL開發(fā)商已經(jīng)開始著手研發(fā)安全機(jī)制，至少在嘗試保護(hù)數(shù)據(jù)的完整性。在關(guān)系型數(shù)據(jù)庫領(lǐng)域，如果我們的數(shù)據(jù)組成不正確，那么它將無法與結(jié)構(gòu)并行運(yùn)作，換言之?dāng)?shù)據(jù)插入操作整體將宣告失敗。目前各種驗(yàn)證規(guī)則與完整性檢查已經(jīng)比較完善，而事實(shí)證明這些驗(yàn)證機(jī)制都能在NoSQL中發(fā)揮作用。我們與其他人所推出的解決方案類似，都會(huì)在插入一條新記錄或是文檔型規(guī)則時(shí)觸發(fā)，并在執(zhí)行過程中確保插入數(shù)據(jù)的正確性。 Shulman預(yù)計(jì)新用戶很快將在配置方面捅出大婁子，這并非因?yàn)镮T工作人員的玩忽職守，實(shí)際上主要原因是NoSQL作為一項(xiàng)新技術(shù)導(dǎo)致大多數(shù)人對(duì)其缺乏足夠的知識(shí)基礎(chǔ)。Application Security研發(fā)部門TeamSHATTER的經(jīng)理Alex Rothacker對(duì)上述觀點(diǎn)表示贊同。他指出，培訓(xùn)的一大問題在于，大多數(shù)NoSQL的從業(yè)者往往屬于新生代IT人士，他們對(duì)于技術(shù)了解較多，但往往缺乏足夠的安全管理經(jīng)驗(yàn)。 如果他們從傳統(tǒng)關(guān)系型數(shù)據(jù)庫入手，那么由于強(qiáng)制性安全機(jī)制的完備，他們可以在使用中學(xué)習(xí)。但NoSQL，只有行家才能通過觀察得出正確結(jié)論，并在大量研究工作后找到一套完備的安全解決方案。因此可能有90%的從業(yè)者由于知識(shí)儲(chǔ)備、安全經(jīng)驗(yàn)或是工作時(shí)間的局限而無法做到這一點(diǎn)。 NoSQL需在安全性方面進(jìn)行優(yōu)化 盡管Phillips認(rèn)同新技術(shù)與舊經(jīng)驗(yàn)之間存在差異，但企業(yè)在推廣NoSQL時(shí)加大對(duì)安全性的關(guān)注會(huì)起到很大程度的積極作用。他認(rèn)為此類數(shù)據(jù)存儲(chǔ)機(jī)制與傳統(tǒng)關(guān)系類數(shù)據(jù)庫相比，其中包含著的敏感類信息更少，而且與企業(yè)網(wǎng)絡(luò)內(nèi)部其它應(yīng)用程序的接觸機(jī)會(huì)也小得多。 他們并不把這項(xiàng)新技術(shù)完全當(dāng)成數(shù)據(jù)庫使用，正如我們?cè)谑占泶罅縼碜云渌鼞?yīng)用程序的業(yè)務(wù)類數(shù)據(jù)時(shí)，往往也會(huì)考慮將其作為企業(yè)數(shù)據(jù)存儲(chǔ)機(jī)制一樣，他補(bǔ)充道。當(dāng)然，如果我打算研發(fā)一套具備某種特定功能的社交網(wǎng)絡(luò)、社交游戲或是某種特殊web應(yīng)用程序，也很可能會(huì)將其部署于防火墻之下。這樣一來它不僅與應(yīng)用程序緊密結(jié)合，也不會(huì)被企業(yè)中的其它部門所觸及。 但Rothacker同時(shí)表示，這種過度依賴周邊安全機(jī)制的數(shù)據(jù)庫系統(tǒng)也存在著極其危險(xiǎn)的漏洞。一旦系統(tǒng)完全依附于周邊安全模型，那么驗(yàn)證機(jī)制就必須相對(duì)薄弱，而且缺乏多用戶管理及數(shù)據(jù)訪問方面的安全保護(hù)。只要擁有高權(quán)限賬戶，我們幾乎能訪問存儲(chǔ)機(jī)制中的一切數(shù)據(jù)。舉例來說，Brian Sullivan就在去年的黑帽大會(huì)上演示了如何在完全不清楚數(shù)據(jù)具體內(nèi)容的情況下，將其信息羅列出來甚至導(dǎo)出。 而根據(jù)nCircle公司CTO Tim ‘TK’ Keanini的觀點(diǎn)，即使是與有限的應(yīng)用程序相關(guān)聯(lián)，NoSQL也很有可能被暴露在互聯(lián)網(wǎng)上。在缺少嚴(yán)密網(wǎng)絡(luò)劃分的情況下，它可能成為攻擊者窺探存儲(chǔ)數(shù)據(jù)的薄弱環(huán)節(jié)。因?yàn)镹oSQL在設(shè)計(jì)上主要用于互聯(lián)網(wǎng)規(guī)模的部署，所以它很可能被直接連接到互聯(lián)網(wǎng)中，進(jìn)而面臨大量攻擊行為。 其中發(fā)生機(jī)率最高的攻擊行為就是注入式攻擊，這也是一直以來肆虐于關(guān)系類數(shù)據(jù)庫領(lǐng)域的頭號(hào)公敵。盡管NoSQL沒有將SQL作為查詢語言，也并不代表它能夠免受注入式攻擊的威脅。雖然不少人宣稱SQL注入在NoSQL這邊不起作用，但其中的原理是完全一致的。攻擊者需要做的只是改變自己注入內(nèi)容的語法形式，Rothacker解釋稱。也就是說雖然SQL注入不會(huì)出現(xiàn)，但JavaScript注入或者JSON注入同樣能威脅安全。 此外，攻擊者在籌劃對(duì)這類數(shù)據(jù)庫展開侵襲時(shí)，也很可能進(jìn)一步優(yōu)化自己的工具。不成熟的安全技術(shù)往往帶來這樣的窘境：需要花費(fèi)大量時(shí)間學(xué)習(xí)如何保障其安全，但幾乎每個(gè)IT人士都能迅速掌握攻擊活動(dòng)的組織方法。因此我認(rèn)為攻擊者將會(huì)始終走在安全部署的前面，Shulman說道。遺憾的是搞破壞總比防范工作更容易，而我們已經(jīng)看到不少NoSQL技術(shù)方面的公開漏洞，尤其是目前引起熱議的、以JSON注入為載體的攻擊方式。 NoSQL安全性并非其阻礙 然而，這一切都不應(yīng)該成為企業(yè)使用NoSQL的阻礙，他總結(jié)道。我認(rèn)為歸根結(jié)底，這應(yīng)該算是企業(yè)的一種商業(yè)決策。只要這種選擇能夠帶來吸引力巨大的商業(yè)機(jī)遇，就要承擔(dān)一定風(fēng)險(xiǎn)，Shulman解釋道。但應(yīng)該采取一定措施以盡量弱化這種風(fēng)險(xiǎn)。 舉例來說，鑒于數(shù)據(jù)庫對(duì)外部安全機(jī)制的依賴性，Rothacker建議企業(yè)積極考慮引入加密方案。他警告稱，企業(yè)必須對(duì)與NoSQL相對(duì)接的應(yīng)用程序代碼仔細(xì)檢查。換言之，企業(yè)必須嚴(yán)格挑選負(fù)責(zé)此類項(xiàng)目部署的人選，確保將最好的人才用于這方面事務(wù)，Shulman表示。當(dāng)大家以NoSQL為基礎(chǔ)編寫應(yīng)用程序時(shí)，必須啟用有經(jīng)驗(yàn)的編程人員，因?yàn)榭蛻舳塑浖堑謸醢踩珕栴}的第一道屏障。切實(shí)為額外緩沖區(qū)的部署留出時(shí)間與預(yù)算，這能夠讓員工有閑暇反思自己的工作內(nèi)容并盡量多顧及安全考量多想一點(diǎn)就是進(jìn)步。綜上所述，這可能與部署傳統(tǒng)的關(guān)系類數(shù)據(jù)庫也沒什么不同。 具有諷刺意味的是，近年來數(shù)據(jù)庫應(yīng)用程序在安全性方面的提升基本都跟數(shù)據(jù)庫本身沒什么關(guān)系，nCircle公司安全研究及開發(fā)部門總監(jiān)Oliver Lavery如是說。

大數(shù)據(jù)時(shí)代發(fā)展歷程是什么？

大數(shù)據(jù)技術(shù)發(fā)展史：大數(shù)據(jù)的前世今生

今天我們常說的大數(shù)據(jù)技術(shù)，其實(shí)起源于Google在2004年前后發(fā)表的三篇論文，也就是我們經(jīng)常聽到的“三駕馬車”，分別是分布式文件系統(tǒng)GFS、大數(shù)據(jù)分布式計(jì)算框架MapReduce和NoSQL數(shù)據(jù)庫系統(tǒng)BigTable。

你知道，搜索引擎主要就做兩件事情，一個(gè)是網(wǎng)頁抓取，一個(gè)是索引構(gòu)建，而在這個(gè)過程中，有大量的數(shù)據(jù)需要存儲(chǔ)和計(jì)算。這“三駕馬車”其實(shí)就是用來解決這個(gè)問題的，你從介紹中也能看出來，一個(gè)文件系統(tǒng)、一個(gè)計(jì)算框架、一個(gè)數(shù)據(jù)庫系統(tǒng)。

現(xiàn)在你聽到分布式、大數(shù)據(jù)之類的詞，肯定一點(diǎn)兒也不陌生。但你要知道，在2004年那會(huì)兒，整個(gè)互聯(lián)網(wǎng)還處于懵懂時(shí)代，Google發(fā)布的論文實(shí)在是讓業(yè)界為之一振，大家恍然大悟，原來還可以這么玩。

因?yàn)槟莻€(gè)時(shí)間段，大多數(shù)公司的關(guān)注點(diǎn)其實(shí)還是聚焦在單機(jī)上，在思考如何提升單機(jī)的性能，尋找更貴更好的服務(wù)器。而Google的思路是部署一個(gè)大規(guī)模的服務(wù)器集群，通過分布式的方式將海量數(shù)據(jù)存儲(chǔ)在這個(gè)集群上，然后利用集群上的所有機(jī)器進(jìn)行數(shù)據(jù)計(jì)算。 這樣，Google其實(shí)不需要買很多很貴的服務(wù)器，它只要把這些普通的機(jī)器組織到一起，就非常厲害了。

當(dāng)時(shí)的天才程序員，也是Lucene開源項(xiàng)目的創(chuàng)始人Doug Cutting正在開發(fā)開源搜索引擎Nutch，閱讀了Google的論文后，他非常興奮，緊接著就根據(jù)論文原理初步實(shí)現(xiàn)了類似GFS和MapReduce的功能。

兩年后的2006年，Doug Cutting將這些大數(shù)據(jù)相關(guān)的功能從Nutch中分離了出來，然后啟動(dòng)了一個(gè)獨(dú)立的項(xiàng)目專門開發(fā)維護(hù)大數(shù)據(jù)技術(shù)，這就是后來赫赫有名的Hadoop，主要包括Hadoop分布式文件系統(tǒng)HDFS和大數(shù)據(jù)計(jì)算引擎MapReduce。

當(dāng)我們回顧軟件開發(fā)的歷史，包括我們自己開發(fā)的軟件，你會(huì)發(fā)現(xiàn)，有的軟件在開發(fā)出來以后無人問津或者寥寥數(shù)人使用，這樣的軟件其實(shí)在所有開發(fā)出來的軟件中占大多數(shù)。而有的軟件則可能會(huì)開創(chuàng)一個(gè)行業(yè)，每年創(chuàng)造數(shù)百億美元的價(jià)值，創(chuàng)造百萬計(jì)的就業(yè)崗位，這些軟件曾經(jīng)是Windows、Linux、Java，而現(xiàn)在這個(gè)名單要加上Hadoop的名字。

如果有時(shí)間，你可以簡(jiǎn)單瀏覽下Hadoop的代碼，這個(gè)純用Java編寫的軟件其實(shí)并沒有什么高深的技術(shù)難點(diǎn)，使用的也都是一些最基礎(chǔ)的編程技巧，也沒有什么出奇之處，但是它卻給社會(huì)帶來巨大的影響，甚至帶動(dòng)一場(chǎng)深刻的科技革命，推動(dòng)了人工智能的發(fā)展與進(jìn)步。

我覺得，我們?cè)谧鲕浖_發(fā)的時(shí)候，也可以多思考一下，我們所開發(fā)軟件的價(jià)值點(diǎn)在哪里？真正需要使用軟件實(shí)現(xiàn)價(jià)值的地方在哪里？你應(yīng)該關(guān)注業(yè)務(wù)、理解業(yè)務(wù)，有價(jià)值導(dǎo)向，用自己的技術(shù)為公司創(chuàng)造真正的價(jià)值，進(jìn)而實(shí)現(xiàn)自己的人生價(jià)值。而不是整天埋頭在需求說明文檔里，做一個(gè)沒有思考的代碼機(jī)器人。

Hadoop發(fā)布之后，Yahoo很快就用了起來。大概又過了一年到了2007年，百度和阿里巴巴也開始使用Hadoop進(jìn)行大數(shù)據(jù)存儲(chǔ)與計(jì)算。

2008年，Hadoop正式成為Apache的頂級(jí)項(xiàng)目，后來Doug Cutting本人也成為了Apache基金會(huì)的主席。自此，Hadoop作為軟件開發(fā)領(lǐng)域的一顆明星冉冉升起。

同年，專門運(yùn)營(yíng)Hadoop的商業(yè)公司Cloudera成立，Hadoop得到進(jìn)一步的商業(yè)支持。

這個(gè)時(shí)候，Yahoo的一些人覺得用MapReduce進(jìn)行大數(shù)據(jù)編程太麻煩了，于是便開發(fā)了Pig。Pig是一種腳本語言，使用類SQL的語法，開發(fā)者可以用Pig腳本描述要對(duì)大數(shù)據(jù)集上進(jìn)行的操作，Pig經(jīng)過編譯后會(huì)生成MapReduce程序，然后在Hadoop上運(yùn)行。

編寫Pig腳本雖然比直接MapReduce編程容易，但是依然需要學(xué)習(xí)新的腳本語法。于是Facebook又發(fā)布了Hive。Hive支持使用SQL語法來進(jìn)行大數(shù)據(jù)計(jì)算，比如說你可以寫個(gè)Select語句進(jìn)行數(shù)據(jù)查詢，然后Hive會(huì)把SQL語句轉(zhuǎn)化成MapReduce的計(jì)算程序。

這樣，熟悉數(shù)據(jù)庫的數(shù)據(jù)分析師和工程師便可以無門檻地使用大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和處理了。Hive出現(xiàn)后極大程度地降低了Hadoop的使用難度，迅速得到開發(fā)者和企業(yè)的追捧。據(jù)說，2011年的時(shí)候，F(xiàn)acebook大數(shù)據(jù)平臺(tái)上運(yùn)行的作業(yè)90%都來源于Hive。

隨后，眾多Hadoop周邊產(chǎn)品開始出現(xiàn)，大數(shù)據(jù)生態(tài)體系逐漸形成，其中包括：專門將關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入導(dǎo)出到Hadoop平臺(tái)的Sqoop；針對(duì)大規(guī)模日志進(jìn)行分布式收集、聚合和傳輸?shù)腇lume；MapReduce工作流調(diào)度引擎Oozie等。

在Hadoop早期，MapReduce既是一個(gè)執(zhí)行引擎，又是一個(gè)資源調(diào)度框架，服務(wù)器集群的資源調(diào)度管理由MapReduce自己完成。但是這樣不利于資源復(fù)用，也使得MapReduce非常臃腫。于是一個(gè)新項(xiàng)目啟動(dòng)了，將MapReduce執(zhí)行引擎和資源調(diào)度分離開來，這就是Yarn。2012年，Yarn成為一個(gè)獨(dú)立的項(xiàng)目開始運(yùn)營(yíng)，隨后被各類大數(shù)據(jù)產(chǎn)品支持，成為大數(shù)據(jù)平臺(tái)上最主流的資源調(diào)度系統(tǒng)。

同樣是在2012年，UC伯克利AMP實(shí)驗(yàn)室（Algorithms、Machine和People的縮寫）開發(fā)的Spark開始嶄露頭角。當(dāng)時(shí)AMP實(shí)驗(yàn)室的馬鐵博士發(fā)現(xiàn)使用MapReduce進(jìn)行機(jī)器學(xué)習(xí)計(jì)算的時(shí)候性能非常差，因?yàn)闄C(jī)器學(xué)習(xí)算法通常需要進(jìn)行很多次的迭代計(jì)算，而MapReduce每執(zhí)行一次Map和Reduce計(jì)算都需要重新啟動(dòng)一次作業(yè)，帶來大量的無謂消耗。還有一點(diǎn)就是MapReduce主要使用磁盤作為存儲(chǔ)介質(zhì)，而2012年的時(shí)候，內(nèi)存已經(jīng)突破容量和成本限制，成為數(shù)據(jù)運(yùn)行過程中主要的存儲(chǔ)介質(zhì)。Spark一經(jīng)推出，立即受到業(yè)界的追捧，并逐步替代MapReduce在企業(yè)應(yīng)用中的地位。

一般說來，像MapReduce、Spark這類計(jì)算框架處理的業(yè)務(wù)場(chǎng)景都被稱作批處理計(jì)算，因?yàn)樗鼈兺ǔａ槍?duì)以“天”為單位產(chǎn)生的數(shù)據(jù)進(jìn)行一次計(jì)算，然后得到需要的結(jié)果，這中間計(jì)算需要花費(fèi)的時(shí)間大概是幾十分鐘甚至更長(zhǎng)的時(shí)間。因?yàn)橛?jì)算的數(shù)據(jù)是非在線得到的實(shí)時(shí)數(shù)據(jù)，而是歷史數(shù)據(jù)，所以這類計(jì)算也被稱為大數(shù)據(jù)離線計(jì)算。

而在大數(shù)據(jù)領(lǐng)域，還有另外一類應(yīng)用場(chǎng)景，它們需要對(duì)實(shí)時(shí)產(chǎn)生的大量數(shù)據(jù)進(jìn)行即時(shí)計(jì)算，比如對(duì)于遍布城市的監(jiān)控?cái)z像頭進(jìn)行人臉識(shí)別和嫌犯追蹤。這類計(jì)算稱為大數(shù)據(jù)流計(jì)算，相應(yīng)地，有Storm、Flink、Spark Streaming等流計(jì)算框架來滿足此類大數(shù)據(jù)應(yīng)用的場(chǎng)景。 流式計(jì)算要處理的數(shù)據(jù)是實(shí)時(shí)在線產(chǎn)生的數(shù)據(jù)，所以這類計(jì)算也被稱為大數(shù)據(jù)實(shí)時(shí)計(jì)算。

在典型的大數(shù)據(jù)的業(yè)務(wù)場(chǎng)景下，數(shù)據(jù)業(yè)務(wù)最通用的做法是，采用批處理的技術(shù)處理歷史全量數(shù)據(jù)，采用流式計(jì)算處理實(shí)時(shí)新增數(shù)據(jù)。而像Flink這樣的計(jì)算引擎，可以同時(shí)支持流式計(jì)算和批處理計(jì)算。

除了大數(shù)據(jù)批處理和流處理，NoSQL系統(tǒng)處理的主要也是大規(guī)模海量數(shù)據(jù)的存儲(chǔ)與訪問，所以也被歸為大數(shù)據(jù)技術(shù)。 NoSQL曾經(jīng)在2011年左右非?；鸨?，涌現(xiàn)出HBase、Cassandra等許多優(yōu)秀的產(chǎn)品，其中HBase是從Hadoop中分離出來的、基于HDFS的NoSQL系統(tǒng)。

我們回顧軟件發(fā)展的歷史會(huì)發(fā)現(xiàn)，差不多類似功能的軟件，它們出現(xiàn)的時(shí)間都非常接近，比如Linux和Windows都是在90年代初出現(xiàn)，Java開發(fā)中的各類MVC框架也基本都是同期出現(xiàn)，Android和iOS也是前腳后腳問世。2011年前后，各種NoSQL數(shù)據(jù)庫也是層出不群，我也是在那個(gè)時(shí)候參與開發(fā)了阿里巴巴自己的NoSQL系統(tǒng)。

事物發(fā)展有自己的潮流和規(guī)律，當(dāng)你身處潮流之中的時(shí)候，要緊緊抓住潮流的機(jī)會(huì)，想辦法脫穎而出，即使沒有成功，也會(huì)更加洞悉時(shí)代的脈搏，收獲珍貴的知識(shí)和經(jīng)驗(yàn)。而如果潮流已經(jīng)退去，這個(gè)時(shí)候再去往這個(gè)方向上努力，只會(huì)收獲迷茫與壓抑，對(duì)時(shí)代、對(duì)自己都沒有什么幫助。

但是時(shí)代的浪潮猶如海灘上的浪花，總是一浪接著一浪，只要你站在海邊，身處這個(gè)行業(yè)之中，下一個(gè)浪潮很快又會(huì)到來。你需要敏感而又深刻地去觀察，略去那些浮躁的泡沫，抓住真正潮流的機(jī)會(huì)，奮力一搏，不管成敗，都不會(huì)遺憾。

正所謂在歷史前進(jìn)的邏輯中前進(jìn)，在時(shí)代發(fā)展的潮流中發(fā)展。通俗的說，就是要在風(fēng)口中飛翔。

上面我講的這些基本上都可以歸類為大數(shù)據(jù)引擎或者大數(shù)據(jù)框架。而大數(shù)據(jù)處理的主要應(yīng)用場(chǎng)景包括數(shù)據(jù)分析、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)。數(shù)據(jù)分析主要使用Hive、Spark SQL等SQL引擎完成；數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)則有專門的機(jī)器學(xué)習(xí)框架TensorFlow、Mahout以及MLlib等，內(nèi)置了主要的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法。

此外，大數(shù)據(jù)要存入分布式文件系統(tǒng)（HDFS），要有序調(diào)度MapReduce和Spark作業(yè)執(zhí)行，并能把執(zhí)行結(jié)果寫入到各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)庫中，還需要有一個(gè)大數(shù)據(jù)平臺(tái)整合所有這些大數(shù)據(jù)組件和企業(yè)應(yīng)用系統(tǒng)。

圖中的所有這些框架、平臺(tái)以及相關(guān)的算法共同構(gòu)成了大數(shù)據(jù)的技術(shù)體系，我將會(huì)在專欄后面逐個(gè)分析，幫你能夠?qū)Υ髷?shù)據(jù)技術(shù)原理和應(yīng)用算法構(gòu)建起完整的知識(shí)體系，進(jìn)可以專職從事大數(shù)據(jù)開發(fā)，退可以在自己的應(yīng)用開發(fā)中更好地和大數(shù)據(jù)集成，掌控自己的項(xiàng)目。

希望對(duì)您有所幫助！~

什么是New SQL?分析NewSQL是如何融合NoSQL和RDBMS兩者的優(yōu)勢(shì)

NewSQL是對(duì)一類現(xiàn)代關(guān)系型數(shù)據(jù)庫的統(tǒng)稱，這類數(shù)據(jù)庫對(duì)于一般的OLTP讀寫請(qǐng)求提供可橫向擴(kuò)展的性能，同時(shí)支持事務(wù)的ACID保證。這些系統(tǒng)既擁有NoSQL數(shù)據(jù)庫的擴(kuò)展性，又保持傳統(tǒng)數(shù)據(jù)庫的事務(wù)特性。NewSQL重新將“應(yīng)用程序邏輯與數(shù)據(jù)操作邏輯應(yīng)該分離”的理念帶回到現(xiàn)代數(shù)據(jù)庫的世界，這也驗(yàn)證了歷史的發(fā)展總是呈現(xiàn)出螺旋上升的形式。

在21世紀(jì)00年代中，出現(xiàn)了許多數(shù)據(jù)倉庫系統(tǒng) (如 Vertica，Greeplum 和AsterData)，這些以處理OLAP 請(qǐng)求為設(shè)計(jì)目標(biāo)的系統(tǒng)并不在本文定義的NewSQL范圍內(nèi)。OLAP 數(shù)據(jù)庫更關(guān)注針對(duì)海量數(shù)據(jù)的大型、復(fù)雜、只讀的查詢，查詢時(shí)間可能持續(xù)秒級(jí)、分鐘級(jí)甚至更長(zhǎng)。

NoSQL的擁躉普遍認(rèn)為阻礙傳統(tǒng)數(shù)據(jù)庫橫向擴(kuò)容、提高可用性的原因在于ACID保證和關(guān)系模型，因此NoSQL運(yùn)動(dòng)的核心就是放棄事務(wù)強(qiáng)一致性以及關(guān)系模型，擁抱最終一致性和其它數(shù)據(jù)模型?(如 key/value，graphs 和Documents)。

兩個(gè)最著名的NoSQL數(shù)據(jù)庫就是Google的BigTable和Amazon的Dynamo，由于二者都未開源，其它組織就開始推出類似的開源替代項(xiàng)目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些創(chuàng)業(yè)公司也加入到這場(chǎng)NoSQL運(yùn)動(dòng)中，它們不一定是受BigTable和Dynamo的啟發(fā)，但都響應(yīng)了NoSQL的哲學(xué)，其中最出名的就是MongoDB。

在21世紀(jì)00年代末，市面上已經(jīng)有許多供用戶選擇的分布式數(shù)據(jù)庫產(chǎn)品。使用NoSQL的優(yōu)勢(shì)在于應(yīng)用開發(fā)者可以更關(guān)注應(yīng)用邏輯本身，而非數(shù)據(jù)庫的擴(kuò)展性問題；但與此同時(shí)許多應(yīng)用，如金融系統(tǒng)、訂單處理系統(tǒng)，由于無法放棄事務(wù)的一致性要求被拒之門外。

一些組織，如Google，已經(jīng)發(fā)現(xiàn)他們的許多工程師將過多的精力放在處理數(shù)據(jù)一致性上，這既暴露了數(shù)據(jù)庫的抽象、又提高了代碼的復(fù)雜度，這時(shí)候要么選擇回到傳統(tǒng)DBMS時(shí)代，用更高的機(jī)器配置縱向擴(kuò)容，要么選擇回到中間件時(shí)代，開發(fā)支持分布式事務(wù)的中間件。這兩種方案成本都很高，于是NewSQL運(yùn)動(dòng)開始醞釀。

NewSQL數(shù)據(jù)庫設(shè)計(jì)針對(duì)的讀寫事務(wù)有以下特點(diǎn)：

1、耗時(shí)短。

2、使用索引查詢，涉及少量數(shù)據(jù)。

3、重復(fù)度高，通常使用相同的查詢語句和不同的查詢參考。

也有一些學(xué)者認(rèn)為NewSQL系統(tǒng)是特指實(shí)現(xiàn)上使用Lock-free并發(fā)控制技術(shù)和share-nothing架構(gòu)的數(shù)據(jù)庫。所有我們認(rèn)為是NewSQL的數(shù)據(jù)庫系統(tǒng)確實(shí)都有這樣的特點(diǎn)。

mongodb成為最好nosql數(shù)據(jù)庫的原因是什么

MongoDB和CouchDB都是面向文檔的數(shù)據(jù)庫。MongoDB和CouchDB都是開源NoSQL數(shù)據(jù)庫的最典型代表。

除了都以文檔形式存儲(chǔ)外它們沒有其他的共同點(diǎn)。MongoDB和CouchDB在數(shù)據(jù)模型實(shí)現(xiàn)、接口、對(duì)象存儲(chǔ)以及復(fù)制方法等方面有很多不同。

本文題目：nosql問世的原因,no sql數(shù)據(jù)庫的起因有哪些?
地址分享：http://jinyejixie.com/article22/dssdscc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、定制開發(fā)、自適應(yīng)網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、全網(wǎng)營(yíng)銷推廣、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)