golang協(xié)程調(diào)度模式解密

golang學(xué)習(xí)筆記

創(chuàng)新互聯(lián)建站于2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站制作、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元吳忠做網(wǎng)站,已為上家服務(wù),為吳忠各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

頻繁創(chuàng)建線程會造成不必要的開銷，所以才有了線程池。在線程池中預(yù)先保存一定數(shù)量的線程，新任務(wù)發(fā)布到任務(wù)隊(duì)列，線程池中的線程不斷地從任務(wù)隊(duì)列中取出任務(wù)并執(zhí)行，可以有效的減少創(chuàng)建和銷毀帶來的開銷。

過多的線程會導(dǎo)致爭搶cpu資源，且上下文的切換的開銷變大。而工作在用戶態(tài)的協(xié)程能大大減少上下文切換的開銷。協(xié)程調(diào)度器把可運(yùn)行的協(xié)程逐個(gè)調(diào)度到線程中執(zhí)行，同時(shí)即時(shí)把阻塞的協(xié)程調(diào)度出協(xié)程，從而有效地避免了線程的頻繁切換，達(dá)到了少量線程實(shí)現(xiàn)高并發(fā)的效果。

多個(gè)協(xié)程分享操作系統(tǒng)分給線程的時(shí)間片，從而達(dá)到充分利用CPU的目的，協(xié)程調(diào)度器決定了則決定了協(xié)程運(yùn)行的順序。每個(gè)線程同一時(shí)刻只能運(yùn)行一個(gè)協(xié)程。

go調(diào)度模型包含三個(gè)實(shí)體：

每個(gè)處理器維護(hù)者一個(gè)協(xié)程G的隊(duì)列，處理器依次將協(xié)程G調(diào)度到M中執(zhí)行。

每個(gè)P會周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中的G主要來自系統(tǒng)調(diào)用中恢復(fù)的G.

如果協(xié)程發(fā)起系統(tǒng)調(diào)用，則整個(gè)工作線程M被阻塞，協(xié)程隊(duì)列中的其他協(xié)程都會阻塞。

一般情況下M的個(gè)數(shù)會略大于P個(gè)數(shù)，多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。與線程池類似，Go也提供M池子。當(dāng)協(xié)程G1發(fā)起系統(tǒng)掉用時(shí)，M1會釋放P,由 M1-P-G1 G2 ... 轉(zhuǎn)變成 M1-G1 , M2會接管P的其他協(xié)程 M2-P-G2 G3 G4... 。

冗余的M可能來源于緩存池，也可能是新建的。

當(dāng)G1結(jié)束系統(tǒng)調(diào)用后，根據(jù)M1是否獲取到P,進(jìn)行不用的處理。

多個(gè)處理P維護(hù)隊(duì)列可能不均衡，導(dǎo)致部分處理器非常繁忙，而其余相對空閑。產(chǎn)生原因是有些協(xié)程自身不斷地派生協(xié)程。

為此Go調(diào)度器提供了工作量竊取策略，當(dāng)某個(gè)處理器P沒有需要調(diào)度的協(xié)程時(shí)，將從其他處理中偷取協(xié)程，每次偷取一半。

搶占式調(diào)度，是指避免某個(gè)協(xié)程長時(shí)間執(zhí)行，而阻礙其他協(xié)程被調(diào)度的機(jī)制。

調(diào)度器監(jiān)控每個(gè)協(xié)程執(zhí)行時(shí)間，一旦執(zhí)行時(shí)間過長且有其他協(xié)程等待，會把協(xié)程暫停，轉(zhuǎn)而調(diào)度等待的協(xié)程，以達(dá)到類似時(shí)間片輪轉(zhuǎn)的效果。比如for循環(huán)會一直占用執(zhí)行權(quán)。

在IO密集型應(yīng)用，GOMAXPROCS大小設(shè)置大一些，獲取性能會更好。

IO密集型會經(jīng)常發(fā)生系統(tǒng)調(diào)用，會有一個(gè)新的M啟用或創(chuàng)建，但由于Go調(diào)度器檢測M到被阻塞有一定延遲。如果P數(shù)量多，則P管理協(xié)程隊(duì)列會變小。

Go語言設(shè)計(jì)與實(shí)現(xiàn)（上）

基本設(shè)計(jì)思路：

類型轉(zhuǎn)換、類型斷言、動態(tài)派發(fā)。iface，eface。

反射對象具有的方法：

編譯優(yōu)化：

內(nèi)部實(shí)現(xiàn)：

實(shí)現(xiàn) Context 接口有以下幾個(gè)類型（空實(shí)現(xiàn)就忽略了）：

互斥鎖的控制邏輯：

設(shè)計(jì)思路：

（以上為寫被讀阻塞，下面是讀被寫阻塞）

總結(jié)，讀寫鎖的設(shè)計(jì)還是非常巧妙的：

設(shè)計(jì)思路：

WaitGroup 有三個(gè)暴露的函數(shù):

部件：

設(shè)計(jì)思路：

結(jié)構(gòu)：

Once 只暴露了一個(gè)方法：

實(shí)現(xiàn)：

三個(gè)關(guān)鍵點(diǎn)：

細(xì)節(jié)：

讓多協(xié)程任務(wù)的開始執(zhí)行時(shí)間可控（按順序或歸一）。（Context 是控制結(jié)束時(shí)間）

設(shè)計(jì)思路： 通過一個(gè)鎖和內(nèi)置的 notifyList 隊(duì)列實(shí)現(xiàn)，Wait() 會生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號通知一個(gè)（Signal()）或所有（Boardcast()）等待者（內(nèi)部實(shí)現(xiàn)是通過票據(jù)通知的）來控制協(xié)程解除阻塞。

暴露四個(gè)函數(shù)：

實(shí)現(xiàn)細(xì)節(jié)：

部件：

包： golang.org/x/sync/errgroup

作用：開啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過程并收集首次 err 錯(cuò)誤。通過 Context 的傳入，還可以控制在首次 err 出現(xiàn)時(shí)就終止組內(nèi)各協(xié)程。

設(shè)計(jì)思路：

結(jié)構(gòu)：

暴露的方法：

實(shí)現(xiàn)細(xì)節(jié)：

注意問題：

包： "golang.org/x/sync/semaphore"

作用：排隊(duì)借資源（如錢，有借有還）的一種場景。此包相當(dāng)于對底層信號量的一種暴露。

設(shè)計(jì)思路：有一定數(shù)量的資源 Weight，每一個(gè) waiter 攜帶一個(gè) channel 和要借的數(shù)量 n。通過隊(duì)列排隊(duì)執(zhí)行借貸。

結(jié)構(gòu)：

暴露方法：

細(xì)節(jié)：

部件：

細(xì)節(jié)：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時(shí)的相同請求只調(diào)用一次，response 被所有相同請求共享。

設(shè)計(jì)思路：按請求的 key 分組（一個(gè) *call 是一個(gè)組，用 map 映射存儲組），每個(gè)組只進(jìn)行一次訪問，組內(nèi)每個(gè)協(xié)程會獲得對應(yīng)結(jié)果的一個(gè)拷貝。

結(jié)構(gòu)：

邏輯：

細(xì)節(jié)：

部件：

如有錯(cuò)誤，請批評指正。

go語言無緩沖的channel

無緩沖的通道（unbuffered channel）是指在接收前沒有能力保存任何值的通道。

這種類型的通道要求發(fā)送goroutine和接收goroutine同時(shí)準(zhǔn)備好，才能完成發(fā)送和接收操作。否則，通道會導(dǎo)致先執(zhí)行發(fā)送或接收操作的 goroutine 阻塞等待。

這種對通道進(jìn)行發(fā)送和接收的交互行為本身就是同步的。其中任意一個(gè)操作都無法離開另一個(gè)操作單獨(dú)存在。

阻塞：由于某種原因數(shù)據(jù)沒有到達(dá)，當(dāng)前協(xié)程（線程）持續(xù)處于等待狀態(tài)，直到條件滿足，才接觸阻塞。

同步：在兩個(gè)或多個(gè)協(xié)程（線程）間，保持?jǐn)?shù)據(jù)內(nèi)容一致性的機(jī)制。

下圖展示兩個(gè) goroutine 如何利用無緩沖的通道來共享一個(gè)值：

在第 1 步，兩個(gè) goroutine 都到達(dá)通道，但哪個(gè)都沒有開始執(zhí)行發(fā)送或者接收。

在第 2 步，左側(cè)的 goroutine 將它的手伸進(jìn)了通道，這模擬了向通道發(fā)送數(shù)據(jù)的行為。這時(shí)，這個(gè) goroutine 會在通道中被鎖住，直到交換完成。

在第 3 步，右側(cè)的 goroutine 將它的手放入通道，這模擬了從通道里接收數(shù)據(jù)。這個(gè) goroutine 一樣也會在通道中被鎖住，直到交換完成。

在第 4 步和第 5 步，進(jìn)行交換，并最終，在第 6 步，兩個(gè) goroutine 都將它們的手從通道里拿出來，這模擬了被鎖住的 goroutine 得到釋放。兩個(gè) goroutine 現(xiàn)在都可以去做別的事情了。

如果沒有指定緩沖區(qū)容量，那么該通道就是同步的，因此會阻塞到發(fā)送者準(zhǔn)備好發(fā)送和接收者準(zhǔn)備好接收。

無緩沖channel： —— 同步通信

本文題目：go語言協(xié)程阻塞 go語言的協(xié)程
地址分享：http://jinyejixie.com/article6/hehoig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站制作、網(wǎng)站改版、服務(wù)器托管、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)