Go語(yǔ)言使用 map 時(shí)盡量不要在 big map 中保存指針

不知道你有沒(méi)有聽(tīng)過(guò)這么一句：在使用 map 時(shí)盡量不要在 big map 中保存指針。好吧，你現(xiàn)在已經(jīng)聽(tīng)過(guò)了：）為什么呢？原因在于 Go 語(yǔ)言的垃圾回收器會(huì)掃描標(biāo)記 map 中的所有元素，GC 開(kāi)銷相當(dāng)大，直接GG。

目前創(chuàng)新互聯(lián)建站已為1000多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、綿陽(yáng)服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、伊犁網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

這兩天在《Mastering Go》中看到 GC 這一章節(jié)里面對(duì)比 map 和 slice 在垃圾回收中的效率對(duì)比，書(shū)中只給出結(jié)論沒(méi)有說(shuō)明理由，這我是不能忍的，于是有了這篇學(xué)習(xí)筆記。扯那么多，Show Your Code

這是一個(gè)簡(jiǎn)單的測(cè)試程序，保存字符串的 map 和 保存整形的 map GC 的效率相差幾十倍，是不是有同學(xué)會(huì)說(shuō)明明保存的是 string 哪有指針？這個(gè)要說(shuō)到 Go 語(yǔ)言中 string 的底層實(shí)現(xiàn)了，源碼在 src/runtime/string.go里，可以看到 string 其實(shí)包含一個(gè)指向數(shù)據(jù)的指針和一個(gè)長(zhǎng)度字段。注意這里的是否包含指針，包括底層的實(shí)現(xiàn)。

Go 語(yǔ)言的 GC 會(huì)遞歸遍歷并標(biāo)記所有可觸達(dá)的對(duì)象，標(biāo)記完成之后將所有沒(méi)有引用的對(duì)象進(jìn)行清理。掃描到指針就會(huì)往下接著尋找，一直到結(jié)束。

Go 語(yǔ)言中 map 是基于 數(shù)組和鏈表 的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)的，通過(guò) 優(yōu)化的拉鏈法 解決哈希沖突，每個(gè) bucket 可以保存 8 對(duì)鍵值，在 8 個(gè)鍵值對(duì)數(shù)據(jù)后面有一個(gè) overflow 指針，因?yàn)橥爸凶疃嘀荒苎b 8 個(gè)鍵值對(duì)，如果有多余的鍵值對(duì)落到了當(dāng)前桶，那么就需要再構(gòu)建一個(gè)桶（稱為溢出桶），通過(guò) overflow 指針鏈接起來(lái)。

因?yàn)?overflow 指針的緣故，所以無(wú)論 map 保存的是什么，GC 的時(shí)候就會(huì)把所有的 bmap 掃描一遍，帶來(lái)巨大的 GC 開(kāi)銷。官方 issues 就有關(guān)于這個(gè)問(wèn)題的討論， runtime: Large maps cause significant GC pauses #9477

無(wú)腦機(jī)翻如下：

如果我們有一個(gè)map [k] v，其中k和v都不包含指針，并且我們想提高掃描性能，則可以執(zhí)行以下操作。

將“ allOverflow [] unsafe.Pointer”添加到 hmap 并將所有溢出存儲(chǔ)桶存儲(chǔ)在其中。 然后將 bmap 標(biāo)記為noScan。 這將使掃描非?？欤?yàn)槲覀儾粫?huì)掃描任何用戶數(shù)據(jù)。

實(shí)際上，它將有些復(fù)雜，因?yàn)槲覀冃枰獜腶llOverflow中刪除舊的溢出桶。 而且它還會(huì)增加 hmap 的大小，因此也可能需要重新整理數(shù)據(jù)。

最終官方在 hmap 中增加了 overflow 相關(guān)字段完成了上面的優(yōu)化，這是具體的 commit 地址。

下面看下具體是如何實(shí)現(xiàn)的，源碼基于 go1.15，src/cmd/compile/internal/gc/reflect.go 中

通過(guò)注釋可以看出，如果 map 中保存的鍵值都不包含指針（通過(guò) Haspointers 判斷），就使用一個(gè) uintptr 類型代替 bucket 的指針用于溢出桶 overflow 字段，uintptr 類型在 GO 語(yǔ)言中就是個(gè)大小可以保存得下指針的整數(shù)，不是指針，就相當(dāng)于實(shí)現(xiàn)了 將 bmap 標(biāo)記為 noScan， GC 的時(shí)候就不會(huì)遍歷完整個(gè) map 了。隨著不斷的學(xué)習(xí)，愈發(fā)感慨 GO 語(yǔ)言中很多模塊設(shè)計(jì)得太精妙了。

差不多說(shuō)清楚了，能力有限，有不對(duì)的地方歡迎留言討論，源碼位置還是問(wèn)的群里大佬 _

golang map源碼淺析

golang 中 map的實(shí)現(xiàn)結(jié)構(gòu)為： 哈希表 + 鏈表。 其中鏈表，作用是當(dāng)發(fā)生hash沖突時(shí)，拉鏈法生成的結(jié)點(diǎn)。

可以看到， []bmap 是一個(gè)hash table， 每一個(gè) bmap是我們常說(shuō)的“桶”。 經(jīng)過(guò)hash 函數(shù)計(jì)算出來(lái)相同的hash值， 放到相同的桶中。 一個(gè) bmap中可以存放 8個(gè) 元素， 如果多出8個(gè)，則生成新的結(jié)點(diǎn)，尾接到隊(duì)尾。

以上是只是靜態(tài)文件 src/runtime/map.go 中的定義。 實(shí)際上編譯期間會(huì)給它加料 ，動(dòng)態(tài)地創(chuàng)建一個(gè)新的結(jié)構(gòu)：

上圖就是 bmap的內(nèi)存模型， HOB Hash 指的就是 top hash。 注意到 key 和 value 是各自放在一起的，并不是 key/value/key/value/... 這樣的形式。源碼里說(shuō)明這樣的好處是在某些情況下可以省略掉 padding 字段，節(jié)省內(nèi)存空間。

每個(gè) bmap設(shè)計(jì)成 最多只能放 8 個(gè) key-value 對(duì) ，如果有第 9 個(gè) key-value 落入當(dāng)前的 bmap，那就需要再構(gòu)建一個(gè) bmap，通過(guò) overflow 指針連接起來(lái)。

map創(chuàng)建方法:

我們實(shí)際上是通過(guò)調(diào)用的 makemap ，來(lái)創(chuàng)建map的。實(shí)際工作只是初始化了hmap中的各種字段，如：設(shè)置B的大小， 設(shè)置hash 種子 hash 0.

注意 :

makemap 返回是*hmap 指針， 即 map 是引用對(duì)象， 對(duì)map的操作會(huì)影響到結(jié)構(gòu)體內(nèi)部 。

使用方式

對(duì)應(yīng)的是下面兩種方法

map的key的類型，實(shí)現(xiàn)了自己的hash 方式。每種類型實(shí)現(xiàn)hash函數(shù)方式不一樣。

key 經(jīng)過(guò)哈希計(jì)算后得到hash值，共 64 個(gè) bit 位。 其中后B 個(gè)bit位置， 用來(lái)定位當(dāng)前元素落在哪一個(gè)桶里， 高8個(gè)bit 為當(dāng)前 hash 值的top hash。 實(shí)際上定位key的過(guò)程是一個(gè)雙重循環(huán)的過(guò)程， 外層循環(huán)遍歷 所有的overflow， 內(nèi)層循環(huán)遍歷 當(dāng)前bmap 中的 8個(gè)元素 。

舉例說(shuō)明： 如果當(dāng)前 B 的值為 5， 那么buckets 的長(zhǎng)度 為 2^5 = 32。假設(shè)有個(gè)key 經(jīng)過(guò)hash函數(shù)計(jì)算后，得到的hash結(jié)果為：

外層遍歷bucket 中的鏈表

內(nèi)層循環(huán)遍歷 bmap中的8個(gè) cell

建議先不看此部分內(nèi)容，看完后續(xù) 修改 map中元素 - 擴(kuò)容 操作后 再回頭看此部分內(nèi)容。

擴(kuò)容前的數(shù)據(jù)：

等量擴(kuò)容后的數(shù)據(jù)：

等量擴(kuò)容后，查找方式和原本相同， 不多做贅述。

兩倍擴(kuò)容后的數(shù)據(jù)

兩倍擴(kuò)容后，oldbuckets 的元素，可能被分配成了兩部分。查找順序如下：

此處只分析 mapaccess1 ,。 mapaccess2 相比 mapaccess1 多添加了是否找到的bool值， 有興趣可自行看一下。

使用方式：

步驟如下：

擴(kuò)容條件 ：

擴(kuò)容的標(biāo)識(shí) ： h.oldbuckets ！= nil

假設(shè)當(dāng)前定位到了新的buckets的3號(hào)桶中，首先會(huì)判斷oldbuckets中的對(duì)應(yīng)的桶有沒(méi)有被搬遷過(guò)。 如果搬遷過(guò)了，不需要看原來(lái)的桶了，直接遍歷新的buckets的3號(hào)桶。

擴(kuò)容前：

等量擴(kuò)容結(jié)果

雙倍擴(kuò)容會(huì)將old buckets上的元素分配到x， y兩個(gè)部key 1 B == 0 分配到x部分，key 1 B == 1 分配到y(tǒng)部分

注意： 當(dāng)前只對(duì)雙倍擴(kuò)容描述， 等量擴(kuò)容只是重新填充了一下元素， 相對(duì)位置沒(méi)有改變。

假設(shè)當(dāng)前map 的B == 5，原本元素經(jīng)過(guò)hash函數(shù)計(jì)算的 hash 值為：

因?yàn)殡p倍擴(kuò)容之后 B = B + 1，此時(shí)B == 6。key 1 B == 1, 即 當(dāng)前元素rehash到高位，新buckets中 y 部分. 否則 key 1 B == 0 則rehash到低位，即x 部分。

使用方式：

可以看到，每一遍歷生成迭代器的時(shí)候，會(huì)隨機(jī)選取一個(gè)bucket 以及 一個(gè)cell開(kāi)始。 從前往后遍歷，再次遍歷到起始位置時(shí)，遍歷完成。

goland map底層原理

map 是Go語(yǔ)言中基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，在日常的使用中經(jīng)常被用到。但是它底層是如何實(shí)現(xiàn)的呢？

總體來(lái)說(shuō)golang的map是hashmap，是使用數(shù)組+鏈表的形式實(shí)現(xiàn)的，使用拉鏈法消除hash沖突。

golang的map由兩種重要的結(jié)構(gòu)，hmap和bmap(下文中都有解釋)，主要就是hmap中包含一個(gè)指向bmap數(shù)組的指針，key經(jīng)過(guò)hash函數(shù)之后得到一個(gè)數(shù)，這個(gè)數(shù)低位用于選擇bmap(當(dāng)作bmap數(shù)組指針的下表)，高位用于放在bmap的[8]uint8數(shù)組中，用于快速試錯(cuò)。然后一個(gè)bmap可以指向下一個(gè)bmap(拉鏈)。

Golang中map的底層實(shí)現(xiàn)是一個(gè)散列表，因此實(shí)現(xiàn)map的過(guò)程實(shí)際上就是實(shí)現(xiàn)散表的過(guò)程。在這個(gè)散列表中，主要出現(xiàn)的結(jié)構(gòu)體有兩個(gè)，一個(gè)叫 hmap (a header for a go map)，一個(gè)叫 bmap (a bucket for a Go map，通常叫其bucket)。這兩種結(jié)構(gòu)的樣子分別如下所示：

hmap :

圖中有很多字段，但是便于理解map的架構(gòu)，你只需要關(guān)心的只有一個(gè)，就是標(biāo)紅的字段： buckets數(shù)組 。Golang的map中用于存儲(chǔ)的結(jié)構(gòu)是bucket數(shù)組。而bucket(即bmap)的結(jié)構(gòu)是怎樣的呢？

bucket ：

相比于hmap，bucket的結(jié)構(gòu)顯得簡(jiǎn)單一些，標(biāo)紅的字段依然是“核心”，我們使用的map中的key和value就存儲(chǔ)在這里。“高位哈希值”數(shù)組記錄的是當(dāng)前bucket中key相關(guān)的“索引”，稍后會(huì)詳細(xì)敘述。還有一個(gè)字段是一個(gè)指向擴(kuò)容后的bucket的指針，使得bucket會(huì)形成一個(gè)鏈表結(jié)構(gòu)。例如下圖：

由此看出hmap和bucket的關(guān)系是這樣的：

而bucket又是一個(gè)鏈表，所以，整體的結(jié)構(gòu)應(yīng)該是這樣的：

哈希表的特點(diǎn)是會(huì)有一個(gè)哈希函數(shù)，對(duì)你傳來(lái)的key進(jìn)行哈希運(yùn)算，得到唯一的值，一般情況下都是一個(gè)數(shù)值。Golang的map中也有這么一個(gè)哈希函數(shù)，也會(huì)算出唯一的值，對(duì)于這個(gè)值的使用，Golang也是很有意思。

Golang把求得的值按照用途一分為二：高位和低位。

如圖所示，藍(lán)色為高位，紅色為低位。 然后低位用于尋找當(dāng)前key屬于hmap中的哪個(gè)bucket，而高位用于尋找bucket中的哪個(gè)key。上文中提到：bucket中有個(gè)屬性字段是“高位哈希值”數(shù)組，這里存的就是藍(lán)色的高位值，用來(lái)聲明當(dāng)前bucket中有哪些“key”，便于搜索查找。 需要特別指出的一點(diǎn)是：我們map中的key/value值都是存到同一個(gè)數(shù)組中的。數(shù)組中的順序是這樣的:

并不是key0/value0/key1/value1的形式，這樣做的好處是：在key和value的長(zhǎng)度不同的時(shí)候，可 以消除padding(內(nèi)存對(duì)齊)帶來(lái)的空間浪費(fèi) 。

現(xiàn)在，我們可以得到Go語(yǔ)言map的整個(gè)的結(jié)構(gòu)圖了：(hash結(jié)果的低位用于選擇把KV放在bmap數(shù)組中的哪一個(gè)bmap中，高位用于key的快速預(yù)覽，用于快速試錯(cuò))

map的擴(kuò)容

當(dāng)以上的哈希表增長(zhǎng)的時(shí)候，Go語(yǔ)言會(huì)將bucket數(shù)組的數(shù)量擴(kuò)充一倍，產(chǎn)生一個(gè)新的bucket數(shù)組，并將舊數(shù)組的數(shù)據(jù)遷移至新數(shù)組。

加載因子

判斷擴(kuò)充的條件，就是哈希表中的加載因子(即loadFactor)。

加載因子是一個(gè)閾值，一般表示為：散列包含的元素?cái)?shù) 除以 位置總數(shù)。是一種“產(chǎn)生沖突機(jī)會(huì)”和“空間使用”的平衡與折中：加載因子越小，說(shuō)明空間空置率高，空間使用率小，但是加載因子越大，說(shuō)明空間利用率上去了，但是“產(chǎn)生沖突機(jī)會(huì)”高了。

每種哈希表的都會(huì)有一個(gè)加載因子，數(shù)值超過(guò)加載因子就會(huì)為哈希表擴(kuò)容。

Golang的map的加載因子的公式是：map長(zhǎng)度 / 2^B(這是代表bmap數(shù)組的長(zhǎng)度，B是取的低位的位數(shù))閾值是6.5。其中B可以理解為已擴(kuò)容的次數(shù)。

當(dāng)Go的map長(zhǎng)度增長(zhǎng)到大于加載因子所需的map長(zhǎng)度時(shí)，Go語(yǔ)言就會(huì)將產(chǎn)生一個(gè)新的bucket數(shù)組，然后把舊的bucket數(shù)組移到一個(gè)屬性字段oldbucket中。注意：并不是立刻把舊的數(shù)組中的元素轉(zhuǎn)義到新的bucket當(dāng)中，而是，只有當(dāng)訪問(wèn)到具體的某個(gè)bucket的時(shí)候，會(huì)把bucket中的數(shù)據(jù)轉(zhuǎn)移到新的bucket中。

如下圖所示：當(dāng)擴(kuò)容的時(shí)候，Go的map結(jié)構(gòu)體中，會(huì)保存舊的數(shù)據(jù)，和新生成的數(shù)組

上面部分代表舊的有數(shù)據(jù)的bucket，下面部分代表新生成的新的bucket。藍(lán)色代表存有數(shù)據(jù)的bucket，橘黃色代表空的bucket。

擴(kuò)容時(shí)map并不會(huì)立即把新數(shù)據(jù)做遷移，而是當(dāng)訪問(wèn)原來(lái)舊bucket的數(shù)據(jù)的時(shí)候，才把舊數(shù)據(jù)做遷移，如下圖：

注意：這里并不會(huì)直接刪除舊的bucket，而是把原來(lái)的引用去掉，利用GC清除內(nèi)存。

map中數(shù)據(jù)的刪除

如果理解了map的整體結(jié)構(gòu)，那么查找、更新、刪除的基本步驟應(yīng)該都很清楚了。這里不再贅述。

值得注意的是，找到了map中的數(shù)據(jù)之后，針對(duì)key和value分別做如下操作：

1

2

3

4

1、如果``key``是一個(gè)指針類型的，則直接將其置為空，等待GC清除；

2、如果是值類型的，則清除相關(guān)內(nèi)存。

3、同理，對(duì)``value``做相同的操作。

4、最后把key對(duì)應(yīng)的高位值對(duì)應(yīng)的數(shù)組index置為空。

文章題目：go語(yǔ)言結(jié)構(gòu)體里用map go語(yǔ)言 結(jié)構(gòu)體
路徑分享：http://jinyejixie.com/article28/dosgpcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、建站公司、面包屑導(dǎo)航、服務(wù)器托管、虛擬主機(jī)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)