大型互聯(lián)網(wǎng)架構(gòu)概述，看完文章又漲知識(shí)了

1. 大型網(wǎng)站系統(tǒng)的特點(diǎn)

創(chuàng)新互聯(lián)是專業(yè)的玉泉網(wǎng)站建設(shè)公司，玉泉接單;提供成都網(wǎng)站制作、做網(wǎng)站,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行玉泉網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

2. 大型網(wǎng)站架構(gòu)演化歷程

2.1. 初始階段架構(gòu)

問(wèn)題：網(wǎng)站運(yùn)營(yíng)初期，訪問(wèn)用戶少，一臺(tái)服務(wù)器綽綽有余。

特征：應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上。

描述：通常服務(wù)器操作系統(tǒng)使用 linux，應(yīng)用程序使用 PHP 開發(fā)，然后部署在 Apache 上，數(shù)據(jù)庫(kù)使用 Mysql，通俗稱為 LAMP。匯集各種免費(fèi)開源軟件以及一臺(tái)廉價(jià)服務(wù)器就可以開始系統(tǒng)的發(fā)展之路了。

2.2. 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

問(wèn)題：越來(lái)越多的用戶訪問(wèn)導(dǎo)致性能越來(lái)越差，越來(lái)越多的數(shù)據(jù)導(dǎo)致存儲(chǔ)空間不足，一臺(tái)服務(wù)器已不足以支撐。

特征：應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、文件服務(wù)器分別獨(dú)立部署。

描述：三臺(tái)服務(wù)器對(duì)性能要求各不相同：應(yīng)用服務(wù)器要處理大量業(yè)務(wù)邏輯，因此需要更快更強(qiáng)大的 CPU；數(shù)據(jù)庫(kù)服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存，因此需要更快的硬盤和更大的內(nèi)存；文件服務(wù)器需要存儲(chǔ)大量文件，因此需要更大容量的硬盤。

2.3. 使用緩存改善性能

問(wèn)題：隨著用戶逐漸增多，數(shù)據(jù)庫(kù)壓力太大導(dǎo)致訪問(wèn)延遲。

特征：由于網(wǎng)站訪問(wèn)和財(cái)富分配一樣遵循二八定律：80% 的業(yè)務(wù)訪問(wèn)集中在 20% 的數(shù)據(jù)上。將數(shù)據(jù)庫(kù)中訪問(wèn)較集中的少部分?jǐn)?shù)據(jù)緩存在內(nèi)存中，可以減少數(shù)據(jù)庫(kù)的訪問(wèn)次數(shù)，降低數(shù)據(jù)庫(kù)的訪問(wèn)壓力。

描述：緩存分為兩種：應(yīng)用服務(wù)器上的本地緩存和分布式緩存服務(wù)器上的遠(yuǎn)程緩存，本地緩存訪問(wèn)速度更快，但緩存數(shù)據(jù)量有限，同時(shí)存在與應(yīng)用程序爭(zhēng)用內(nèi)存的情況。分布式緩存可以采用集群方式，理論上可以做到不受內(nèi)存容量限制的緩存服務(wù)。

2.4. 使用應(yīng)用服務(wù)器集群

問(wèn)題：使用緩存后，數(shù)據(jù)庫(kù)訪問(wèn)壓力得到有效緩解。但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限，在訪問(wèn)高峰期，成為瓶頸。

特征：多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單一服務(wù)器處理能力和存儲(chǔ)空間不足的問(wèn)題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個(gè)系統(tǒng)的瓶頸。

2.5. 數(shù)據(jù)庫(kù)讀寫分離

問(wèn)題：網(wǎng)站使用緩存后，使絕大部分?jǐn)?shù)據(jù)讀操作訪問(wèn)都可以不通過(guò)數(shù)據(jù)庫(kù)就能完成，但是仍有一部分讀操作和全部的寫操作需要訪問(wèn)數(shù)據(jù)庫(kù)，在網(wǎng)站的用戶達(dá)到一定規(guī)模后，數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過(guò)高而成為網(wǎng)站的瓶頸。

特征：目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能，通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的主從熱備功能，實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫分離，從而改善數(shù)據(jù)庫(kù)負(fù)載壓力。

描述：應(yīng)用服務(wù)器在寫操作的時(shí)候，訪問(wèn)主數(shù)據(jù)庫(kù)，主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)。這樣當(dāng)應(yīng)用服務(wù)器在讀操作的時(shí)候，訪問(wèn)從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問(wèn)讀寫分離后的數(shù)據(jù)庫(kù)，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問(wèn)模塊，使數(shù)據(jù)庫(kù)讀寫分離的對(duì)應(yīng)用透明。

2.6. 反向代理和 CDN 加速

問(wèn)題：中國(guó)網(wǎng)絡(luò)環(huán)境復(fù)雜，不同地區(qū)的用戶訪問(wèn)網(wǎng)站時(shí)，速度差別也極大。

特征：采用 CDN 和反向代理加快系統(tǒng)的靜態(tài)資源訪問(wèn)速度。

描述：CDN 和反向代理的基本原理都是緩存，區(qū)別在于 CDN 部署在網(wǎng)絡(luò)提供商的機(jī)房，使用戶在請(qǐng)求網(wǎng)站服務(wù)時(shí)，可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù)；而反向代理則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后，首先訪問(wèn)的服務(wù)器時(shí)反向代理服務(wù)器，如果反向代理服務(wù)器中緩存著用戶請(qǐng)求的資源，就將其直接返回給用戶。

2.7. 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)

問(wèn)題：隨著大型網(wǎng)站業(yè)務(wù)持續(xù)增長(zhǎng)，數(shù)據(jù)庫(kù)經(jīng)過(guò)讀寫分離，從一臺(tái)服務(wù)器拆分為兩臺(tái)服務(wù)器，依然不能滿足需求。

特征：數(shù)據(jù)庫(kù)采用分布式數(shù)據(jù)庫(kù)，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：分布式數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用。不到不得已時(shí)，更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同的業(yè)務(wù)數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。

2.8. 使用 NoSQL 和搜索引擎

問(wèn)題：隨著網(wǎng)站業(yè)務(wù)越來(lái)越復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜。

特征：系統(tǒng)引入 NoSQL 數(shù)據(jù)庫(kù)及搜索引擎。

描述：NoSQL 數(shù)據(jù)庫(kù)及搜索引擎對(duì)可伸縮的分布式特性具有更好的支持。應(yīng)用服務(wù)器通過(guò)統(tǒng)一數(shù)據(jù)訪問(wèn)模塊訪問(wèn)各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。

2.9. 業(yè)務(wù)拆分

問(wèn)題：大型網(wǎng)站的業(yè)務(wù)場(chǎng)景日益復(fù)雜，分為多個(gè)產(chǎn)品線。

特征：采用分而治之的手段將整個(gè)網(wǎng)站業(yè)務(wù)分成不同的產(chǎn)品線。系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。

描述：應(yīng)用之間可以通過(guò)超鏈接建立關(guān)系，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過(guò)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。

縱向拆分：將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用，如果新業(yè)務(wù)較為獨(dú)立，那么就直接將其設(shè)計(jì)部署為一個(gè)獨(dú)立的 Web 應(yīng)用系統(tǒng)?？v向拆分相對(duì)較為簡(jiǎn)單，通過(guò)梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。

橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來(lái)，獨(dú)立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)橫向拆分需要識(shí)別可復(fù)用的業(yè)務(wù)，設(shè)計(jì)服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。

2.10. 分布式服務(wù)

問(wèn)題：隨著業(yè)務(wù)越拆越小，存儲(chǔ)系統(tǒng)越來(lái)越龐大，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級(jí)上升，部署維護(hù)越來(lái)越困難。由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，拒絕服務(wù)。

特征：公共業(yè)務(wù)提取出來(lái)，獨(dú)立部署。由這些可復(fù)用的業(yè)務(wù)連接數(shù)據(jù)庫(kù)，通過(guò)分布式服務(wù)提供共用業(yè)務(wù)服務(wù)。

3. 大型網(wǎng)站架構(gòu)模式

3.1. 分層

大型網(wǎng)站架構(gòu)中常采用分層結(jié)構(gòu)，將軟件系統(tǒng)分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層：

分層架構(gòu)的約束：禁止跨層次的調(diào)用（應(yīng)用層直接調(diào)用數(shù)據(jù)層）及逆向調(diào)用（數(shù)據(jù)層調(diào)用服務(wù)層，或者服務(wù)層調(diào)用應(yīng)用層）。

分層結(jié)構(gòu)內(nèi)部還可以繼續(xù)分層，如應(yīng)用可以再細(xì)分為視圖層和業(yè)務(wù)邏輯層；服務(wù)層也可以細(xì)分為數(shù)據(jù)接口層和邏輯處理層。

3.2. 分割

將不同的功能和服務(wù)分割開來(lái)，包裝成高內(nèi)聚低耦合的模塊單元。這有助于軟件的開發(fā)和維護(hù)，便于不同模塊的分布式部署，提高網(wǎng)站的并發(fā)處理能力和功能擴(kuò)展能力。

3.3. 分布式

大于大型網(wǎng)站，分層和分割的一個(gè)主要目的是為了切分后的模塊便于分布式部署，即將不同模塊部署在不同的服務(wù)器上，通過(guò)遠(yuǎn)程調(diào)用協(xié)同工作。

分布式意味可以用更多的機(jī)器工作，那么 CPU、內(nèi)存、存儲(chǔ)資源也就更豐富，能夠處理的并發(fā)訪問(wèn)和數(shù)據(jù)量就越大，進(jìn)而能夠?yàn)楦嗟挠脩籼峁┓?wù)。

分布式也引入了一些問(wèn)題：

常用的分布式方案：

3.4. 集群

集群即多臺(tái)服務(wù)器部署相同應(yīng)用構(gòu)成一個(gè)集群，通過(guò)負(fù)載均衡設(shè)備共同對(duì)外提供服務(wù)。

集群需要具備伸縮性和故障轉(zhuǎn)移機(jī)制：伸縮性是指可以根據(jù)用戶訪問(wèn)量向集群添加或減少機(jī)器；故障轉(zhuǎn)移是指，當(dāng)某臺(tái)機(jī)器出現(xiàn)故障時(shí)，負(fù)載均衡設(shè)備或失效轉(zhuǎn)移機(jī)制將請(qǐng)求轉(zhuǎn)發(fā)到集群中的其他機(jī)器上，從而不影響用戶使用。

3.5. 緩存

緩存就是將數(shù)據(jù)存放在距離最近的位置以加快處理速度。緩存是改善軟件性能的第一手段。

網(wǎng)站應(yīng)用中，緩存除了可以加快數(shù)據(jù)訪問(wèn)速度以外，還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力。

常見(jiàn)緩存手段：

使用緩存有兩個(gè)前提：

3.6. 異步

軟件發(fā)展的一個(gè)重要目標(biāo)和驅(qū)動(dòng)力是降低軟件耦合性。事物之間直接關(guān)系越少，彼此影響就越小，也就更容易獨(dú)立發(fā)展。

大型網(wǎng)站架構(gòu)中，系統(tǒng)解耦的手段除了分層、分割、分布式等，還有一個(gè)重要手段——異步。

業(yè)務(wù)間的消息傳遞不是同步調(diào)用，而是將一個(gè)業(yè)務(wù)操作拆分成多階段，每個(gè)階段間通過(guò)共享數(shù)據(jù)的方式異步執(zhí)行進(jìn)行協(xié)作。

異步架構(gòu)是典型的生產(chǎn)者消費(fèi)模式，二者不存在直接調(diào)用。異步消息隊(duì)列還有如下特性：

3.7. 冗余

大型網(wǎng)站，出現(xiàn)服務(wù)器宕機(jī)是必然事件。要保證部分服務(wù)器宕機(jī)的情況下網(wǎng)站依然可以繼續(xù)服務(wù)，不丟失數(shù)據(jù)，就需要一定程度的服務(wù)器冗余運(yùn)行，數(shù)據(jù)冗余備份。這樣當(dāng)某臺(tái)服務(wù)器宕機(jī)是，可以將其上的服務(wù)和數(shù)據(jù)訪問(wèn)轉(zhuǎn)移到其他機(jī)器上。

訪問(wèn)和負(fù)載很小的服務(wù)也必須部署 至少兩臺(tái)服務(wù)器構(gòu)成一個(gè)集群，目的就是通過(guò)冗余實(shí)現(xiàn)服務(wù)高可用。數(shù)據(jù)除了定期備份，存檔保存，實(shí)現(xiàn) 冷備份 外；為了保證在線業(yè)務(wù)高可用，還需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行主從分離，實(shí)時(shí)同步實(shí)現(xiàn) 熱備份。

為了抵御地震、海嘯等不可抗因素導(dǎo)致的網(wǎng)站完全癱瘓，某些大型網(wǎng)站會(huì)對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行備份，全球范圍內(nèi)部署 災(zāi)備數(shù)據(jù)中心。網(wǎng)站程序和數(shù)據(jù)實(shí)時(shí)同步到多個(gè)災(zāi)備數(shù)據(jù)中心。

3.8. 自動(dòng)化

大型網(wǎng)站架構(gòu)的自動(dòng)化架構(gòu)設(shè)計(jì)主要集中在發(fā)布運(yùn)維方面：

3.9. 安全

4. 大型網(wǎng)站核心架構(gòu)要素

架構(gòu) 的一種通俗說(shuō)法是：最高層次的規(guī)劃，難以改變的決定。

4.1. 性能

性能問(wèn)題無(wú)處不在，所以網(wǎng)站性能優(yōu)化手段也十分繁多：

4.2. 可用性

可用性指部分服務(wù)器出現(xiàn)故障時(shí)，還能否對(duì)用戶提供服務(wù)

4.3. 伸縮性

衡量伸縮的標(biāo)準(zhǔn)就是是否可以用多臺(tái)服務(wù)器構(gòu)建集群，是否容易向集群中增刪服務(wù)器節(jié)點(diǎn)。增刪服務(wù)器節(jié)點(diǎn)后是否可以提供和之前無(wú)差別的服務(wù)。集群中可容納的總服務(wù)器數(shù)是否有限制。

4.4. 擴(kuò)展性

衡量擴(kuò)展性的標(biāo)準(zhǔn)就是增加新的業(yè)務(wù)產(chǎn)品時(shí)，是否可以實(shí)現(xiàn)對(duì)現(xiàn)有產(chǎn)品透明無(wú)影響，不需要任何改動(dòng)或很少改動(dòng)，既有功能就可以上線新產(chǎn)品。主要手段有：事件驅(qū)動(dòng)架構(gòu)和分布式服務(wù)。

4.5. 安全性

安全性保護(hù)網(wǎng)站不受惡意攻擊，保護(hù)網(wǎng)站重要數(shù)據(jù)不被竊取。

歡迎工作一到五年的Java工程師朋友們加入Java程序員開發(fā)： 721575865

群內(nèi)提供免費(fèi)的Java架構(gòu)學(xué)習(xí)資料（里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個(gè)知識(shí)點(diǎn)的架構(gòu)資料）合理利用自己每一分每一秒的時(shí)間來(lái)學(xué)習(xí)提升自己，不要再用"沒(méi)有時(shí)間“來(lái)掩飾自己思想上的懶惰！趁年輕，使勁拼，給未來(lái)的自己一個(gè)交代！

如何用java 建立一個(gè)分布式系統(tǒng)

分布式架構(gòu)的演進(jìn)

系統(tǒng)架構(gòu)演化歷程-初始階段架構(gòu)

初始階段 的小型系統(tǒng) 應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上通俗稱為L(zhǎng)AMP

特征：

應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上。

描述：

通常服務(wù)器操作系統(tǒng)使用Linux，應(yīng)用程序使用PHP開發(fā)，然后部署在Apache上，數(shù)據(jù)庫(kù)使用MySQL，匯集各種免費(fèi)開源軟件以及一臺(tái)廉價(jià)服務(wù)器就可以開始系統(tǒng)的發(fā)展之路了。

系統(tǒng)架構(gòu)演化歷程-應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離

好景不長(zhǎng)，發(fā)現(xiàn)隨著系統(tǒng)訪問(wèn)量的再度增加，webserver機(jī)器的壓力在高峰期會(huì)上升到比較高，這個(gè)時(shí)候開始考慮增加一臺(tái)webserver

特征：

應(yīng)用程序、數(shù)據(jù)庫(kù)、文件分別部署在獨(dú)立的資源上。

描述：

數(shù)據(jù)量增加，單臺(tái)服務(wù)器性能及存儲(chǔ)空間不足，需要將應(yīng)用和數(shù)據(jù)分離，并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)空間得到了很大改善。

系統(tǒng)架構(gòu)演化歷程-使用緩存改善性能

特征：

數(shù)據(jù)庫(kù)中訪問(wèn)較集中的一小部分?jǐn)?shù)據(jù)存儲(chǔ)在緩存服務(wù)器中，減少數(shù)據(jù)庫(kù)的訪問(wèn)次數(shù)，降低數(shù)據(jù)庫(kù)的訪問(wèn)壓力。

描述：

系統(tǒng)訪問(wèn)特點(diǎn)遵循二八定律，即80%的業(yè)務(wù)訪問(wèn)集中在20%的數(shù)據(jù)上。

緩存分為本地緩存和遠(yuǎn)程分布式緩存，本地緩存訪問(wèn)速度更快但緩存數(shù)據(jù)量有限，同時(shí)存在與應(yīng)用程序爭(zhēng)用內(nèi)存的情況。

系統(tǒng)架構(gòu)演化歷程-使用應(yīng)用服務(wù)器集群

在做完分庫(kù)分表這些工作后，數(shù)據(jù)庫(kù)上的壓力已經(jīng)降到比較低了，又開始過(guò)著每天看著訪問(wèn)量暴增的幸福生活了，突然有一天，發(fā)現(xiàn)系統(tǒng)的訪問(wèn)又開始有變慢的趨勢(shì)了，這個(gè)時(shí)候首先查看數(shù)據(jù)庫(kù)，壓力一切正常，之后查看webserver，發(fā)現(xiàn)apache阻塞了很多的請(qǐng)求，而應(yīng)用服務(wù)器對(duì)每個(gè)請(qǐng)求也是比較快的，看來(lái) 是請(qǐng)求數(shù)太高導(dǎo)致需要排隊(duì)等待，響應(yīng)速度變慢

特征：

多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單臺(tái)服務(wù)器處理能力和存儲(chǔ)空間上限的問(wèn)題。

描述：

使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務(wù)器的負(fù)載壓力不再成為整個(gè)系統(tǒng)的瓶頸。

系統(tǒng)架構(gòu)演化歷程-數(shù)據(jù)庫(kù)讀寫分離

享受了一段時(shí)間的系統(tǒng)訪問(wèn)量高速增長(zhǎng)的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經(jīng)過(guò)查找，發(fā)現(xiàn)數(shù)據(jù)庫(kù)寫入、更新的這些操作的部分?jǐn)?shù)據(jù)庫(kù)連接的資源競(jìng)爭(zhēng)非常激烈，導(dǎo)致了系統(tǒng)變慢

特征：

多臺(tái)服務(wù)器通過(guò)負(fù)載均衡同時(shí)向外部提供服務(wù)，解決單臺(tái)服務(wù)器處理能力和存儲(chǔ)空間上限的問(wèn)題。

描述：

使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。通過(guò)向集群中追加資源，使得服務(wù)器的負(fù)載壓力不在成為整個(gè)系統(tǒng)的瓶頸。

系統(tǒng)架構(gòu)演化歷程-反向代理和CDN加速

特征：

采用CDN和反向代理加快系統(tǒng)的 訪問(wèn)速度。

描述：

為了應(yīng)付復(fù)雜的網(wǎng)絡(luò)環(huán)境和不同地區(qū)用戶的訪問(wèn)，通過(guò)CDN和反向代理加快用戶訪問(wèn)的速度，同時(shí)減輕后端服務(wù)器的負(fù)載壓力。CDN與反向代理的基本原理都是緩存。

系統(tǒng)架構(gòu)演化歷程-分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)

隨著系統(tǒng)的不斷運(yùn)行，數(shù)據(jù)量開始大幅度增長(zhǎng)，這個(gè)時(shí)候發(fā)現(xiàn)分庫(kù)后查詢?nèi)匀粫?huì)有些慢，于是按照分庫(kù)的思想開始做分表的工作

特征：

數(shù)據(jù)庫(kù)采用分布式數(shù)據(jù)庫(kù)，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：

任何強(qiáng)大的單一服務(wù)器都滿足不了大型系統(tǒng)持續(xù)增長(zhǎng)的業(yè)務(wù)需求，數(shù)據(jù)庫(kù)讀寫分離隨著業(yè)務(wù)的發(fā)展最終也將無(wú)法滿足需求，需要使用分布式數(shù)據(jù)庫(kù)及分布式文件系統(tǒng)來(lái)支撐。

分布式數(shù)據(jù)庫(kù)是系統(tǒng)數(shù)據(jù)庫(kù)拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用，更常用的數(shù)據(jù)庫(kù)拆分手段是業(yè)務(wù)分庫(kù)，將不同的業(yè)務(wù)數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。

系統(tǒng)架構(gòu)演化歷程-使用NoSQL和搜索引擎

特征：

系統(tǒng)引入NoSQL數(shù)據(jù)庫(kù)及搜索引擎。

描述：

隨著業(yè)務(wù)越來(lái)越復(fù)雜，對(duì)數(shù)據(jù)存儲(chǔ)和檢索的需求也越來(lái)越復(fù)雜，系統(tǒng)需要采用一些非關(guān)系型數(shù)據(jù)庫(kù)如NoSQL和分?jǐn)?shù)據(jù)庫(kù)查詢技術(shù)如搜索引擎。應(yīng)用服務(wù)器通過(guò)統(tǒng)一數(shù)據(jù)訪問(wèn)模塊訪問(wèn)各種數(shù)據(jù)，減輕應(yīng)用程序管理諸多數(shù)據(jù)源的麻煩。

系統(tǒng)架構(gòu)演化歷程-業(yè)務(wù)拆分

特征：

系統(tǒng)上按照業(yè)務(wù)進(jìn)行拆分改造，應(yīng)用服務(wù)器按照業(yè)務(wù)區(qū)分進(jìn)行分別部署。

描述：

為了應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景，通常使用分而治之的手段將整個(gè)系統(tǒng)業(yè)務(wù)分成不同的產(chǎn)品線，應(yīng)用之間通過(guò)超鏈接建立關(guān)系，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)，當(dāng)然更多的還是通過(guò)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)關(guān)聯(lián)的完整系統(tǒng)。

縱向拆分：

將一個(gè)大應(yīng)用拆分為多個(gè)小應(yīng)用，如果新業(yè)務(wù)較為獨(dú)立，那么就直接將其設(shè)計(jì)部署為一個(gè)獨(dú)立的Web應(yīng)用系統(tǒng)

縱向拆分相對(duì)較為簡(jiǎn)單，通過(guò)梳理業(yè)務(wù)，將較少相關(guān)的業(yè)務(wù)剝離即可。

橫向拆分：將復(fù)用的業(yè)務(wù)拆分出來(lái)，獨(dú)立部署為分布式服務(wù)，新增業(yè)務(wù)只需要調(diào)用這些分布式服務(wù)

橫向拆分需要識(shí)別可復(fù)用的業(yè)務(wù)，設(shè)計(jì)服務(wù)接口，規(guī)范服務(wù)依賴關(guān)系。

系統(tǒng)架構(gòu)演化歷程-分布式服務(wù)

特征：

公共的應(yīng)用模塊被提取出來(lái)，部署在分布式服務(wù)器上供應(yīng)用服務(wù)器調(diào)用。

描述：

隨著業(yè)務(wù)越拆越小，應(yīng)用系統(tǒng)整體復(fù)雜程度呈指數(shù)級(jí)上升，由于所有應(yīng)用要和所有數(shù)據(jù)庫(kù)系統(tǒng)連接，最終導(dǎo)致數(shù)據(jù)庫(kù)連接資源不足，拒絕服務(wù)。

Q：分布式服務(wù)應(yīng)用會(huì)面臨哪些問(wèn)題？

A：

(1) 當(dāng)服務(wù)越來(lái)越多時(shí)，服務(wù)URL配置管理變得非常困難，F(xiàn)5硬件負(fù)載均衡器的單點(diǎn)壓力也越來(lái)越大。

(2) 當(dāng)進(jìn)一步發(fā)展，服務(wù)間依賴關(guān)系變得錯(cuò)蹤復(fù)雜，甚至分不清哪個(gè)應(yīng)用要在哪個(gè)應(yīng)用之前啟動(dòng)，架構(gòu)師都不能完整的描述應(yīng)用的架構(gòu)關(guān)系。

(3) 接著，服務(wù)的調(diào)用量越來(lái)越大，服務(wù)的容量問(wèn)題就暴露出來(lái)，這個(gè)服務(wù)需要多少機(jī)器支撐？什么時(shí)候該加機(jī)器？

(4) 服務(wù)多了，溝通成本也開始上升，調(diào)某個(gè)服務(wù)失敗該找誰(shuí)？服務(wù)的參數(shù)都有什么約定？

(5) 一個(gè)服務(wù)有多個(gè)業(yè)務(wù)消費(fèi)者，如何確保服務(wù)質(zhì)量？

(6) 隨著服務(wù)的不停升級(jí)，總有些意想不到的事發(fā)生，比如cache寫錯(cuò)了導(dǎo)致內(nèi)存溢出，故障不可避免，每次核心服務(wù)一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務(wù)是否可以功能降級(jí)？或者資源劣化？

Java分布式應(yīng)用技術(shù)基礎(chǔ)

分布式服務(wù)下的關(guān)鍵技術(shù)：消息隊(duì)列架構(gòu)

消息對(duì)列通過(guò)消息對(duì)象分解系統(tǒng)耦合性，不同子系統(tǒng)處理同一個(gè)消息

分布式服務(wù)下的關(guān)鍵技術(shù)：消息隊(duì)列原理

分布式服務(wù)下的關(guān)鍵技術(shù)：服務(wù)框架架構(gòu)

服務(wù)框架通過(guò)接口分解系統(tǒng)耦合性，不同子系統(tǒng)通過(guò)相同的接口描述進(jìn)行服務(wù)啟用

服務(wù)框架是一個(gè)點(diǎn)對(duì)點(diǎn)模型

服務(wù)框架面向同構(gòu)系統(tǒng)

適合：移動(dòng)應(yīng)用、互聯(lián)網(wǎng)應(yīng)用、外部系統(tǒng)

分布式服務(wù)下的關(guān)鍵技術(shù)：服務(wù)框架原理

分布式服務(wù)下的關(guān)鍵技術(shù)：服務(wù)總線架構(gòu)

服務(wù)總線同服務(wù)框架一樣，均是通過(guò)接口分解系統(tǒng)耦合性，不同子系統(tǒng)通過(guò)相同的接口描述進(jìn)行服務(wù)啟用

服務(wù)總線是一個(gè)總線式的模型

服務(wù)總線面向同構(gòu)、異構(gòu)系統(tǒng)

適合：內(nèi)部系統(tǒng)

分布式服務(wù)下的關(guān)鍵技術(shù)：服務(wù)總線原理

分布式架構(gòu)下系統(tǒng)間交互的5種通信模式

request/response模式（同步模式）：客戶端發(fā)起請(qǐng)求一直阻塞到服務(wù)端返回請(qǐng)求為止。

Callback（異步模式）：客戶端發(fā)送一個(gè)RPC請(qǐng)求給服務(wù)器，服務(wù)端處理后再發(fā)送一個(gè)消息給消息發(fā)送端提供的callback端點(diǎn)，此類情況非常合適以下場(chǎng)景：A組件發(fā)送RPC請(qǐng)求給B，B處理完成后，需要通知A組件做后續(xù)處理。

Future模式：客戶端發(fā)送完請(qǐng)求后，繼續(xù)做自己的事情，返回一個(gè)包含消息結(jié)果的Future對(duì)象?？蛻舳诵枰褂梅祷亟Y(jié)果時(shí)，使用Future對(duì)象的.get(),如果此時(shí)沒(méi)有結(jié)果返回的話，會(huì)一直阻塞到有結(jié)果返回為止。

Oneway模式：客戶端調(diào)用完繼續(xù)執(zhí)行，不管接收端是否成功。

Reliable模式：為保證通信可靠，將借助于消息中心來(lái)實(shí)現(xiàn)消息的可靠送達(dá)，請(qǐng)求將做持久化存儲(chǔ)，在接收方在線時(shí)做送達(dá)，并由消息中心保證異常重試。

五種通信模式的實(shí)現(xiàn)方式-同步點(diǎn)對(duì)點(diǎn)服務(wù)模式

五種通信模式的實(shí)現(xiàn)方式-異步點(diǎn)對(duì)點(diǎn)消息模式1

五種通信模式的實(shí)現(xiàn)方式-異步點(diǎn)對(duì)點(diǎn)消息模式2

五種通信模式的實(shí)現(xiàn)方式-異步廣播消息模式

分布式架構(gòu)下的服務(wù)治理

服務(wù)治理是服務(wù)框架/服務(wù)總線的核心功能。所謂服務(wù)治理，是指服務(wù)的提供方和消費(fèi)方達(dá)成一致的約定，保證服務(wù)的高質(zhì)量。服務(wù)治理功能可以解決將某些特定流量引入某一批機(jī)器，以及限制某些非法消費(fèi)者的惡意訪問(wèn)，并在提供者處理量達(dá)到一定程度是，拒絕接受新的訪問(wèn)。

基于服務(wù)框架Dubbo的服務(wù)治理-服務(wù)管理

可以知道你的系統(tǒng)，對(duì)外提供了多少服務(wù)，可以對(duì)服務(wù)進(jìn)行升級(jí)、降級(jí)、停用、權(quán)重調(diào)整等操作

可以知道你提供的服務(wù)，誰(shuí)在使用，因業(yè)務(wù)需求，可以對(duì)該消費(fèi)者實(shí)施屏蔽、停用等操作

基于服務(wù)框架Dubbo的服務(wù)治理-服務(wù)監(jiān)控

可以統(tǒng)計(jì)服務(wù)的每秒請(qǐng)求數(shù)、平均響應(yīng)時(shí)間、調(diào)用量、峰值時(shí)間等，作為服務(wù)集群規(guī)劃、性能調(diào)優(yōu)的參考指標(biāo)。

基于服務(wù)框架Dubbo的服務(wù)治理-服務(wù)路由

基于服務(wù)框架Dubbo的服務(wù)治理-服務(wù)保護(hù)

基于服務(wù)總線OSB的服務(wù)治理-功能介紹

基于服務(wù)總線OSB的服務(wù)治理

Q：Dubbo到底是神馬？

A：

淘寶開源的高性能和透明化的RPC遠(yuǎn)程調(diào)用服務(wù)框架

SOA服務(wù)治理方案

Q：Dubbo原理是？

A：

-結(jié)束-

搜索引擎可以基于nosql搜索嗎

網(wǎng)頁(yè)中的數(shù)據(jù)大多數(shù)是存儲(chǔ)于數(shù)據(jù)庫(kù)中，知道庫(kù)連接、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)展示的網(wǎng)頁(yè)理論上是可以的。

但是程序設(shè)計(jì)中應(yīng)該是沒(méi)有設(shè)計(jì)存儲(chǔ)庫(kù)中數(shù)據(jù)對(duì)應(yīng)的網(wǎng)址，所以，你可能搜索到內(nèi)容，但是無(wú)法展示給客戶。（或者將搜索的結(jié)果在自己的網(wǎng)站中以一定的格式顯示）

網(wǎng)頁(yè)名稱：使用nosql和搜索引擎,nosql和sql
本文地址：http://jinyejixie.com/article22/dssejjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、商城網(wǎng)站、小程序開發(fā)、虛擬主機(jī)、ChatGPT、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)