2021-02-01 分類: 網(wǎng)站建設(shè)
前言
假設(shè)你正在開發(fā)一個(gè)電商網(wǎng)站,那么這里會涉及到很多后端的微服務(wù),比如會員、商品、推薦服務(wù)等等。
域名(
http://service.api.company.com),但這種方式會有幾個(gè)問題:
API Gateway
更好的方式是采用API網(wǎng)關(guān),實(shí)現(xiàn)一個(gè)API網(wǎng)關(guān)接管所有的入口流量,類似Nginx的作用,將所有用戶的請求轉(zhuǎn)發(fā)給后端的服務(wù)器,但網(wǎng)關(guān)做的不僅僅只是簡單的轉(zhuǎn)發(fā),也會針對流量做一些擴(kuò)展,比如鑒權(quán)、限流、權(quán)限、熔斷、協(xié)議轉(zhuǎn)換、錯誤碼統(tǒng)一、緩存、日志、監(jiān)控、告警等,這樣將通用的邏輯抽出來,由網(wǎng)關(guān)統(tǒng)一去做,業(yè)務(wù)方也能夠更專注于業(yè)務(wù)邏輯,提升迭代的效率。
通過引入API網(wǎng)關(guān),客戶端只需要與API網(wǎng)關(guān)交互,而不用與各個(gè)業(yè)務(wù)方的接口分別通訊,但多引入一個(gè)組件就多引入了一個(gè)潛在的故障點(diǎn),因此要實(shí)現(xiàn)一個(gè)高性能、穩(wěn)定的網(wǎng)關(guān),也會涉及到很多點(diǎn)。
API注冊
業(yè)務(wù)方如何接入網(wǎng)關(guān)?一般來說有幾種方式。
協(xié)議轉(zhuǎn)換
內(nèi)部的API可能是由很多種不同的協(xié)議實(shí)現(xiàn)的,比如HTTP、Dubbo、GRPC等,但對于用戶來說其中很多都不是很友好,或者根本沒法對外暴露,比如Dubbo服務(wù),因此需要在網(wǎng)關(guān)層做一次協(xié)議轉(zhuǎn)換,將用戶的HTTP協(xié)議請求,在網(wǎng)關(guān)層轉(zhuǎn)換成底層對應(yīng)的協(xié)議,比如HTTP -> Dubbo, 但這里需要注意很多問題,比如參數(shù)類型,如果類型搞錯了,導(dǎo)致轉(zhuǎn)換出問題,而日志又不夠詳細(xì)的話,問題會很難定位。
服務(wù)發(fā)現(xiàn)
網(wǎng)關(guān)作為流量的入口,負(fù)責(zé)請求的轉(zhuǎn)發(fā),但首先需要知道轉(zhuǎn)發(fā)給誰,如何尋址,這里有幾種方式:
服務(wù)調(diào)用
網(wǎng)關(guān)由于對接很多種不同的協(xié)議,因此可能需要實(shí)現(xiàn)很多種調(diào)用方式,比如HTTP、Dubbo等,基于性能原因,最好都采用異步的方式,而Http、Dubbo都是支持異步的,比如apache就提供了基于NIO實(shí)現(xiàn)的異步HTTP客戶端。
因?yàn)榫W(wǎng)關(guān)會涉及到很多異步調(diào)用,比如攔截器、HTTP客戶端、dubbo、redis等,因此需要考慮下異步調(diào)用的方式,如果基于回調(diào)或者future的話,代碼嵌套會很深,可讀性很差,可以參考zuul和spring cloud gateway的方案,基于響應(yīng)式進(jìn)行改造。
優(yōu)雅下線
優(yōu)雅下線也是網(wǎng)關(guān)需要關(guān)注的一個(gè)問題,網(wǎng)關(guān)底層會涉及到很多種協(xié)議,比如HTTP、Dubbo,而HTTP又可以繼續(xù)細(xì)分,比如域名、注冊中心等,有些自身就支持優(yōu)雅下線,比如Nginx自身是支持健康監(jiān)測機(jī)制的,如果檢測到某一個(gè)節(jié)點(diǎn)已經(jīng)掛掉了,就會把這個(gè)節(jié)點(diǎn)摘掉,對于應(yīng)用正常下線,需要結(jié)合發(fā)布系統(tǒng),首先進(jìn)行邏輯下線,然后對后續(xù)Nginx的健康監(jiān)測請求直接返回失敗(比如直接返回500),然后等待一段時(shí)間(根據(jù)Nginx配置決定),然后再將應(yīng)用實(shí)際下線掉。另外對于注冊中心的其實(shí)也類似,一般注冊中心是只支持手動下線的,可以在邏輯下線階段調(diào)用注冊中心的接口將節(jié)點(diǎn)下線掉,而有些不支持主動下線的,需要結(jié)合緩存的配置,讓應(yīng)用延遲下線。另外對于其他比如Dubbo等原理也是類似。
性能
網(wǎng)關(guān)作為所有流量的入口,性能是重中之重,早期大部分網(wǎng)關(guān)都是基于同步阻塞模型構(gòu)建的,比如Zuul 1.x。但這種同步的模型我們都知道,每個(gè)請求/連接都會占用一個(gè)線程,而線程在JVM中是一個(gè)很重的資源,比如Tomcat默認(rèn)就是200個(gè)線程,如果網(wǎng)關(guān)隔離沒有做好的話,當(dāng)發(fā)生網(wǎng)絡(luò)延遲、FullGC、第三方服務(wù)慢等情況造成上游服務(wù)延遲時(shí),線程池很容易會被打滿,造成新的請求被拒絕,但這個(gè)時(shí)候其實(shí)線程都阻塞在IO上,系統(tǒng)的資源被沒有得到充分的利用。另外一點(diǎn),容易受網(wǎng)絡(luò)、磁盤IO等延遲影響。需要謹(jǐn)慎設(shè)置超時(shí)時(shí)間,如果設(shè)置不當(dāng),且服務(wù)隔離做的不是很完善的話,網(wǎng)關(guān)很容易被一個(gè)慢接口拖垮。
而異步化的方式則完全不同,通常情況下一個(gè)CPU核啟動一個(gè)線程即可處理所有的請求、響應(yīng)。一個(gè)請求的生命周期不再固定于一個(gè)線程,而是會分成不同的階段交由不同的線程池處理,系統(tǒng)的資源能夠得到更充分的利用。而且因?yàn)榫€程不再被某一個(gè)連接獨(dú)占,一個(gè)連接所占用的系統(tǒng)資源也會低得多,只是一個(gè)文件描述符加上幾個(gè)監(jiān)聽器等,而在阻塞模型中,每條連接都會獨(dú)占一個(gè)線程,而線程是一個(gè)非常重的資源。對于上游服務(wù)的延遲情況,也能夠得到很大的緩解,因?yàn)樵谧枞P椭?,慢請求會?dú)占一個(gè)線程資源,而異步化之后,因?yàn)閱螚l連接所占用的資源變的非常低,系統(tǒng)可以同時(shí)處理大量的請求。
如果是JVM平臺,Zuul 2、Spring Cloud gateway等都是不錯的異步網(wǎng)關(guān)選型,另外也可以基于Netty、Spring Boot2.x的webflux、vert.x或者servlet3.1的異步支持進(jìn)行自研。
緩存
對于一些冪等的get請求,可以在網(wǎng)關(guān)層面根據(jù)業(yè)務(wù)方指定的緩存頭做一層緩存,存儲到Redis等二級緩存中,這樣一些重復(fù)的請求,可以在網(wǎng)關(guān)層直接處理,而不用打到業(yè)務(wù)線,降低業(yè)務(wù)方的壓力,另外如果業(yè)務(wù)方節(jié)點(diǎn)掛掉,網(wǎng)關(guān)也能夠返回自身的緩存。
限流
限流對于每個(gè)業(yè)務(wù)組件來說,可以說都是一個(gè)必須的組件,如果限流做不好的話,當(dāng)請求量突增時(shí),很容易導(dǎo)致業(yè)務(wù)方的服務(wù)掛掉,比如雙11、雙12等大促時(shí),接口的請求量是平時(shí)的數(shù)倍,如果沒有評估好容量,又沒有做限流的話,很容易服務(wù)整個(gè)不可用,因此需要根據(jù)業(yè)務(wù)方接口的處理能力,做好限流策略,相信大家都見過淘寶、百度搶紅包時(shí)的降級頁面。
因此一定要在接入層做好限流策略,對于非核心接口可以直接將降級掉,保障核心服務(wù)的可用性,對于核心接口,需要根據(jù)壓測時(shí)得到的接口容量,制定對應(yīng)的限流策略。限流又分為幾種:
另外還有不同的策略:簡單計(jì)數(shù)、令牌桶等,大部分場景下其實(shí)簡單計(jì)數(shù)已經(jīng)夠用了,但如果需要支持突發(fā)流量等場景時(shí),可以采用令牌桶等方案。還需要考慮根據(jù)什么限流,比如是IP、接口、用戶維度、還是請求參數(shù)中的某些值,這里可以采用表達(dá)式,相對比較靈活。
穩(wěn)定性
穩(wěn)定性是網(wǎng)關(guān)非常重要的一環(huán),監(jiān)控、告警需要做的很完善才可以,比如接口調(diào)用量、響應(yīng)時(shí)間、異常、錯誤碼、成功率等相關(guān)的監(jiān)控告警,還有線程池相關(guān)的一些,比如活躍線程數(shù)、隊(duì)列積壓等,還有些系統(tǒng)層面的,比如CPU、內(nèi)存、FullGC這些基本的。
網(wǎng)關(guān)是所有服務(wù)的入口,對于網(wǎng)關(guān)的穩(wěn)定性的要求相對于其他服務(wù)會更高,最好能夠一直穩(wěn)定的運(yùn)行,盡量少重啟,但當(dāng)新增功能、或者加日志排查問題時(shí),不可避免的需要重新發(fā)布,因此可以參考zuul的方式,將所有的核心功能都基于不同的攔截器實(shí)現(xiàn),攔截器的代碼采用Groovy編寫,存儲到數(shù)據(jù)庫中,支持動態(tài)加載、編譯、運(yùn)行,這樣在出了問題的時(shí)候能夠第一時(shí)間定位并解決,并且如果網(wǎng)關(guān)需要開發(fā)新功能,只需要增加新的攔截器,并動態(tài)添加到網(wǎng)關(guān)即可,不需要重新發(fā)布。
熔斷降級
熔斷機(jī)制也是非常重要的一項(xiàng)。若某一個(gè)服務(wù)掛掉、接口響應(yīng)嚴(yán)重超時(shí)等發(fā)生,則可能整個(gè)網(wǎng)關(guān)都被一個(gè)接口拖垮,因此需要增加熔斷降級,當(dāng)發(fā)生特定異常的時(shí)候,對接口降級由網(wǎng)關(guān)直接返回,可以基于Hystrix或者Resilience4j實(shí)現(xiàn)。
日志
由于所有的請求都是由網(wǎng)關(guān)處理的,因此日志也需要相對比較完善,比如接口的耗時(shí)、請求方式、請求IP、請求參數(shù)、響應(yīng)參數(shù)(注意脫敏)等,另外由于可能涉及到很多微服務(wù),因此需要提供一個(gè)統(tǒng)一的traceId方便關(guān)聯(lián)所有的日志,可以將這個(gè)traceId置于響應(yīng)頭中,方便排查問題。
隔離
比如線程池、http連接池、redis等應(yīng)用層面的隔離,另外也可以根據(jù)業(yè)務(wù)場景,將核心業(yè)務(wù)部署帶單獨(dú)的網(wǎng)關(guān)集群,與其他非核心業(yè)務(wù)隔離開。
網(wǎng)關(guān)管控平臺
這塊也是非常重要的一環(huán),需要考慮好整個(gè)流程的用戶體驗(yàn),比如接入到網(wǎng)關(guān)的這個(gè)流程,能不能盡量簡化、智能,比如如果是dubbo接口,我們可以通過到git倉庫中獲取源碼、解析對應(yīng)的類、方法,從而實(shí)現(xiàn)自動填充,盡量幫用戶減少操作;另外接口一般是從測試->預(yù)發(fā)->線上,如果每次都要填寫一遍表單會非常麻煩,我們能不能自動把這個(gè)事情做掉,另外如果網(wǎng)關(guān)部署到了多個(gè)可用區(qū)、甚至不同的國家,那這個(gè)時(shí)候,我們還需要接口數(shù)據(jù)同步功能,不然用戶需要到每個(gè)后臺都操作一遍,非常麻煩。
這塊個(gè)人的建議是直接參考阿里云、aws等提供的網(wǎng)關(guān)服務(wù)即可,功能非常全面。
其他
其他還有些需要考慮到的點(diǎn),比如接口mock,文檔生成、sdk代碼生成、錯誤碼統(tǒng)一、服務(wù)治理相關(guān)的等,這里就不累述了。
總結(jié)
目前的網(wǎng)關(guān)還是中心化的架構(gòu),所有的請求都需要走一次網(wǎng)關(guān),因此當(dāng)大促或者流量突增時(shí),網(wǎng)關(guān)可能會成為性能的瓶頸,而且當(dāng)網(wǎng)關(guān)接入的大量接口的時(shí)候,做好流量評估也不是一項(xiàng)容易的工作,每次大促前都需要跟業(yè)務(wù)方一起針對接口做壓測,評估出大致的容量,并對網(wǎng)關(guān)進(jìn)行擴(kuò)容,而且網(wǎng)關(guān)是所有流量的入口,所有的請求都是由網(wǎng)關(guān)處理,要想準(zhǔn)確的評估出容量很復(fù)雜。可以參考目前比較流行的ServiceMesh,采用去中心化的方案,將網(wǎng)關(guān)的邏輯下沉到sidecar中,sidecar和應(yīng)用部署到同一個(gè)節(jié)點(diǎn),并接管應(yīng)用流入、流出的流量,這樣大促時(shí),只需要對相關(guān)的業(yè)務(wù)壓測,并針對性擴(kuò)容即可,另外升級也會更平滑,中心化的網(wǎng)關(guān),即使灰度發(fā)布,但是理論上所有業(yè)務(wù)方的流量都會流入到新版本的網(wǎng)關(guān),如果出了問題,會影響到所有的業(yè)務(wù),但這種去中心化的方式,可以先針對非核心業(yè)務(wù)升級,觀察一段時(shí)間沒問題后,再全量推上線。另外ServiceMesh的方案,對于多語言支持也更友好。
標(biāo)題名稱:API網(wǎng)關(guān):API 網(wǎng)關(guān)從入門到放棄
當(dāng)前鏈接:http://jinyejixie.com/news12/98562.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站導(dǎo)航、微信小程序、定制開發(fā)、App開發(fā)、外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容