電商行業(yè)技術特點;
①技術新:(NoSql推廣首在社區(qū)網站和電商項目),發(fā)展快,需求推動技術的革新。
②技術范圍廣:除了java,像淘寶前端還使用了PHP,數據庫MySQL或者oracle,nosql,服務器端使用Linux,服務器安全、系統(tǒng)安全
③分布式:以前是在一臺機器上做運算,現(xiàn)在是分散到很多機器上,最后匯總起來。(集中式向分布式進行考慮)由需求來推動
④高并發(fā)、集群、負載均衡、高可用:由并發(fā)問題采用集群進行處理,其中,集群會涉及服務器的主從以及分布問題,使用負載均衡。(權重高低)高可用是對用戶而言,用戶的服務不中斷(系統(tǒng)升級,服務不中斷,淘寶每周更新2次)。
⑤海量數據:雙11,570億的背后,訂單有多少?瀏覽次數有多少?商品會有多少?活動相關數據?
⑥業(yè)務復雜:不要簡單的認為是:商品展示出來后,加入購物車后購買就完成了。后臺特別復雜,比如優(yōu)惠(包郵、滿減)
⑦系統(tǒng)安全:系統(tǒng)上線必須通過系統(tǒng)安全部門審核通過。前年CSDN數據泄露??旖菥频陻祿孤?通過身份證就可以查看你的開房記錄)。近幾年,安全意識逐步在提高。
電商網站需求;
客戶需求:
建立一個全品類的
電子商務網站(
B2C),用戶可以在線購買商品,可以在線支付,也可以貨到付款;
用戶購買時可以在線與客服溝通;
用戶收到商品后,可以給商品打分,評價;
目前有成熟的進銷存系統(tǒng);需要與網站對接;
希望能夠支持3~5年,業(yè)務的發(fā)展;
預計3~5年用戶數達到1000萬;
定期舉辦雙11,雙12,三八男人節(jié)等活動;
其他的功能參考京東或國美在線等網站。
客戶就是客戶,不會告訴你具體要什么,只會告訴你他想要什么,我們很多時候要引導,挖掘客戶的需求。好在提供了明確的參考網站。因此,下一步要進行大量的分析,結合行業(yè),以及參考網站,給客戶提供方案。
需求功能矩陣
需求管理傳統(tǒng)的做法,會使用用例圖或模塊圖(需求列表)進行需求的描述。這樣做常常忽視掉一個很重要的需求(非功能需求),因此推薦大家使用需求功能矩陣,進行需求描述。
圖片存儲的要求(海量小圖片)用戶可以在線購買商品會員管理,購物車,結算功能良好購物體驗(可用性,性能)在線支付或貨到付款多種在線支付方式支付過程要安全,數據加密(安全性)多種支付接口靈活切換(靈活性,擴展性)可以在線與客服溝通在線客服功能可靠性:即時通訊商品打分評價商品評論 目前有成熟的進銷存系統(tǒng)對接進銷存屬于約束條件對接時要考慮數據一致性,魯棒性支持3~5年,業(yè)務的發(fā)展 屬于約束條件伸縮性,可擴展性3~5年用戶數達到1000萬 約束條件舉辦雙11,雙12,三八男人節(jié)等活動活動管理,秒殺突增訪問流量(可伸縮)實時性要求(高性能)參考京東或國美在線 參考條件
以上是對
電商網站需求的簡單舉例,目的是說明(1)需求分析的時候,要全面,大型分布式系統(tǒng)重點考慮非功能需求;(2)描述一個簡單的電商需求場景,使大家對下一步的分析設計有個依據。
、網站初級架構
一般網站,剛開始的做法,是三臺服務器,一臺部署應用,一臺部署數據庫,一臺部署NFS文件系統(tǒng)。
這是前幾年比較傳統(tǒng)的做法,之前見到一個網站10萬多會員,垂直服裝設計門戶,N多圖片。使用了一臺服務器部署了應用,數據庫以及圖片存儲。出現(xiàn)了很多性能問題。
如下圖:
但是,目前主流的網站架構已經發(fā)生了翻天覆地的變化。一般都會采用集群的方式,進行高可用設計。至少是下面這個樣子。
(1) 使用集群對應用服務器進行冗余,實現(xiàn)高可用;(負載均衡設備可與應用一塊部署)
使用數據庫主備模式,實現(xiàn)數據備份和高可用;
、系統(tǒng)容量預估
預估步驟:
注冊用戶數-日均UV量-每日的PV量-每天的并發(fā)量;
峰值預估:平常量的2~3倍;
根據并發(fā)量(并發(fā),事務數),存儲容量計算系統(tǒng)容量。
客戶需求:3~5年用戶數達到1000萬注冊用戶;
每秒并發(fā)數預估:
每天的UV為200萬(二八原則);
每日每天點擊瀏覽30次;
PV量:200*30=6000萬;
集中訪問量:24*0.2=4.8小時會有6000萬*0.8=4800萬(二八原則);
每分并發(fā)量:4.8*60=288分鐘,每分鐘訪問4800/288=16.7萬(約等于);
每秒并發(fā)量:16.7萬/60=2780(約等于);
假設:高峰期為平常值的三倍,則每秒的并發(fā)數可以達到8340次。
1毫秒=1.3次訪問;
沒好好學數學后悔了吧??。ú恢酪陨纤闶欠裼绣e誤,呵呵~~)
服務器預估:(以tomcat服務器舉例)
按一臺web服務器,支持每秒300個并發(fā)計算。平常需要10臺服務器(約等于);[tomcat默認配置是150]
高峰期:需要30臺服務器;
容量預估:70/90原則
系統(tǒng)CPU一般維持在70%左右的水平,高峰期達到90%的水平,是不浪費資源,并比較穩(wěn)定的。內存,IO類似。
以上預估僅供參考,因為服務器配置,業(yè)務邏輯復雜度等都有影響。在此CPU,硬盤,網絡等不再進行評估。
、網站架構分析
根據以上預估,有幾個問題:
需要部署大量的服務器,高峰期計算,可能要部署30臺Web服務器。并且這三十臺服務器,只有秒殺,活動時才會用到,存在大量的浪費。
所有的應用部署在同一臺服務器,應用之間耦合嚴重。需要進行垂直切分和水平切分。
大量應用存在冗余代碼
服務器SESSION同步耗費大量內存和網絡帶寬
數據需要頻繁訪問數據庫,數據庫訪問壓力巨大。
大型網站一般需要做以下架構優(yōu)化(優(yōu)化是架構設計時,就要考慮的,一般從架構/代碼級別解決,調優(yōu)主要是簡單參數的調整,比如JVM調優(yōu);如果調優(yōu)涉及大量代碼改造,就不是調優(yōu)了,屬于重構):
業(yè)務拆分
應用集群部署(分布式部署,集群部署和負載均衡)
多級緩存
單點登錄(分布式Session)
數據庫集群(讀寫分離,分庫分表)
服務化
消息隊列
其他技術
、網站架構優(yōu)化
1業(yè)務拆分
根據業(yè)務屬性進行垂直切分,劃分為產品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng),評論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)(對接如進銷存,短信等外部系統(tǒng))。
根據業(yè)務子系統(tǒng)進行等級定義,可分為核心系統(tǒng)和非核心系統(tǒng)。核心系統(tǒng):產品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng);非核心:評論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)。
業(yè)務拆分作用:提升為子系統(tǒng)可由專門的團隊和部門負責,專業(yè)的人做專業(yè)的事,解決模塊之間耦合以及擴展性問題;每個子系統(tǒng)單獨部署,避免集中部署導致一個應用掛了,全部應用不可用的問題。
等級定義作用:用于流量突發(fā)時,對關鍵應用進行保護,實現(xiàn)優(yōu)雅降級;保護關鍵應用不受到影響。
2應用集群部署(分布式,集群,負載均衡)
分布式部署:將業(yè)務拆分后的應用單獨部署,應用直接通過RPC進行遠程通信;
集群部署:
電商網站的高可用要求,每個應用至少部署兩臺服務器進行集群部署;
負載均衡:是高可用系統(tǒng)必須的,一般應用通過負載均衡實現(xiàn)高可用,分布式服務通過內置的負載均衡實現(xiàn)高可用,關系型數據庫通過主備方式實現(xiàn)高可用。
3 多級緩存
緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式,進行緩存的設計。一級緩存為本地緩存,二級緩存為分布式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分)
一級緩存,緩存數據字典,和常用熱點數據等基本不可變/有規(guī)則變化的信息,二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時,訪問二級緩存的數據。如果二級緩存也沒有,則訪問數據庫。
緩存的比例,一般1:4,即可考慮使用緩存。(理論上是1:2即可)。
4,單點登錄(分布式Session)
系統(tǒng)分割為多個子系統(tǒng),獨立部署后,不可避免的會遇到會話管理的問題。一般可采用Session同步,Cookies,分布式Session方式。
電商網站一般采用分布式Session實現(xiàn)。
再進一步可以根據分布式Session,建立完善的單點登錄或賬戶管理系統(tǒng)。
流程說明
用戶第一次登錄時,將會話信息(用戶Id和用戶信息),比如以用戶Id為Key,寫入分布式Session;
用戶再次登錄時,獲取分布式Session,是否有會話信息,如果沒有則調到登錄頁;
一般采用Cache中間件實現(xiàn),建議使用Redis,因此它有持久化功能,方便分布式Session宕機后,可以從持久化存儲中加載會話信息;
存入會話時,可以設置會話保持的時間,比如15分鐘,超過后自動超時;
結合Cache中間件,實現(xiàn)的分布式Session,可以很好的模擬Session會話。
數據庫集群(讀寫分離,分庫分表)
大型網站需要存儲海量的數據,為達到海量數據存儲,高可用,高性能一般采用冗余的方式進行系統(tǒng)設計。一般有兩種方式讀寫分離和分庫分表。
讀寫分離:一般解決讀比例遠大于寫比例的場景,可采用一主一備,一主多備或多主多備方式。
本案例在業(yè)務拆分的基礎上,結合分庫分表和讀寫分離
業(yè)務拆分后:每個子系統(tǒng)需要單獨的庫;
如果單獨的庫太大,可以根據業(yè)務特性,進行再次分庫,比如商品分類庫,產品庫;
分庫后,如果表中有數據量很大的,則進行分表,一般可以按照Id,時間等進行分表;(高級的用法是一致性Hash)
在分庫,分表的基礎上,進行讀寫分離;
相關中間件可參考Cobar(阿里,目前已不在維護),TDDL(阿里),Atlas(奇虎360),MyCat(在Cobar基礎上,國內很多牛人,號稱國內第一開源項目)。
電商網站后臺功能模塊分析;
后臺:各類主要信息的概要統(tǒng)計,包括客戶信息、 訂單信息、商品信息、庫存信息、評論和最近反饋等。
商品模塊:
1.商品管理:商品和商品包的添加、修改、 刪除、復制、批處理、商品計劃上下架、
SEO、商品多媒體上傳等,可以定義商品是實體還是虛擬,可以定義是否預訂、是否缺貨銷售等。
2.商品目錄管理:樹形的商品目錄組織管理,并可以設置關聯(lián)/商品推薦。
3.商品類型管理:定義商品的類型,設置自定義屬性項、SKU項和商品評論項。
4.品牌管理:添加、修改、刪除、上傳品牌 LOGO。
5.商品評論管理:回復、刪除。
銷售模塊:
1.促銷管理:分為目錄促銷、購物車促銷和 優(yōu)惠券促銷三類,可以隨意定義不同的促銷規(guī)則,滿足日常促銷活動:購物折扣、購物贈送積分、購物贈送優(yōu)惠券、購物免運輸費、特價商品、特定會員購買特定商品、折上折、買二送一等。 2.禮券管理:添加、發(fā)送禮券
3.關聯(lián)/推薦管理――基于規(guī)則引擎,可以支持多種推薦類型,可手工添加或者自動評估商品。
訂單模塊:
1.訂單管理:可以編輯、解鎖、取消訂單、 拆分訂單、添加商品、移除商品、確認可備貨等,也可對因促銷規(guī)則發(fā)生變化引起的價格變化進行調整。訂單處理完可發(fā)起退貨、換貨流程。
2.支付:常用于訂單支付信息的查看和手工 支付兩種功能。手工支付訂單,常用于“款到發(fā)貨”類型的訂單,可理解為對款到發(fā)貨這類訂單的一種補登行為。
3.結算:提供商家與第三方物流公司的結算 功能,通常是月結。同時,結算功能也是常用來對“貨到付款”這一類型訂單支付后的數據進行對帳
庫存模塊:
1.庫存管理:引入庫存的概念,不包括銷售 規(guī)則為永遠可售的商品,一個SKU對應一個庫存量。庫存管理提供增加、減少等調整庫存量的功能;另外,也可對具具體的SKU設置商品的保留數量、***小庫存量、再進貨數量。每條SKU商品的具體庫存操作都會記錄在庫存明細記錄里邊。
2.查看庫存明細記錄。
3.備貨/發(fā)貨:創(chuàng)建備貨單、打印備貨單、打印發(fā)貨單、打印EMS快遞單、完成發(fā)貨等一系列物流配送的操作。
4.退/換貨:對退/換貨的訂單進行收貨流程的處理。
內容模塊:
1.內容管理:包括內容管理以及內容目錄管理。內容目錄由樹形結構組織管理。類似于商品目錄的樹形結構,可設置目錄是否為鏈接目錄。
2.無限制創(chuàng)建獨立內容網頁,比如關于我們,聯(lián)系我們。
3.廣告管理:添加、修改、刪除、上傳廣告、 定義廣告有效時限。
4.可自由設置
商城導航欄目以及欄目內容、欄目鏈接。
客戶模塊:
1.客戶管理:添加、刪除、修改、重設密碼、 發(fā)送郵件等。 2.反饋管理:刪除、回復。
3.消息訂閱管理:添加、刪除、修改消息組 和消息、分配消息組、查看訂閱人。 4.會員資格:添加、刪除、修改。
系統(tǒng)模塊:
1.安全管理:管理員、角色權限分配和安全日志
2.系統(tǒng)屬性管理:用于管理自定義屬性??申P聯(lián)模塊包括商品管理、商品目錄管理、內容管理、客戶管理。
3.運輸與區(qū)域:運輸公司、運輸方式、運輸 地區(qū)。 4.支付管理:支付方式、支付歷史。 5.包裝管理:添加、修改、刪除。
6.數據導入管理:商品目錄導入、商品導入、 會員資料導入。 7.郵件隊列管理:監(jiān)控郵件發(fā)送情況,刪除 發(fā)送異常郵件。
報表模塊:
缺省數個統(tǒng)計報表,支持時間段過濾、支持按不同狀態(tài)過濾、支持HTML、PDF和Excel格式的導出和打印。 1.用戶注冊統(tǒng)計 2.低庫存匯總 3.缺貨訂單 4.訂單匯總 5.退換貨
本文題目:高端電商網站建設架構分析
文章來源:http://jinyejixie.com/news3/136953.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供企業(yè)建站、App開發(fā)、建站公司、商城網站、虛擬主機、網站導航
廣告
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源:
創(chuàng)新互聯(lián)