本篇內(nèi)容介紹了“一致性hash算法有哪些重要性”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
專注于為中小企業(yè)提供網(wǎng)站建設、做網(wǎng)站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)紅山免費做網(wǎng)站提供優(yōu)質的服務。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了成百上千家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉變。
一致性hash算法是個啥?相信很多老牌程序員都不太清楚,為什么?因為它主要用于負載均衡,解決數(shù)據(jù)相對一致性問題的。一般公司搞個哈希、輪詢、權重都了不得了,用什么一致性哈希算法,但一致性哈希算法是個啥,有點追求的產(chǎn)品經(jīng)理還是要了解的。
nginx里面有個哈希算法,這個哈希算法的使用場景大概是,我的某一個客戶端要一直連到特定后端服務器上,不許變,變了就會出錯,如此可以解決我們實際場景中一些問題,比如:session問題,redis緩存數(shù)據(jù)存儲等等。
如果用于緩存場景,普通哈希算法邏輯大概是這樣的,如果有10臺緩存服務器,客戶端 1數(shù)據(jù)存儲在1節(jié)點(1模除10)客戶端2數(shù)據(jù)存儲在2節(jié)點上......客戶端11存儲在1節(jié)點上,以此類推。但忽然有一天,有一臺機器老化了,你的總服務器個數(shù)變成了9,可想而知,再次做取模運算,可能原來的數(shù)據(jù)已經(jīng)不在,可能你會說,沒關系啊,數(shù)據(jù)庫里面還有一份呢?重新加載下就Ok啦,是的(沒見識),如果對于上億級流量場景,可能就會發(fā)生緩存擊穿問題,導致一連串的崩潰。
這時就輪到一致性hash算法上場了,其實一致性hash算法思想和實現(xiàn)非常簡單,每每想到一致性哈希算法,大家都應該想到這個環(huán)(不知道怎么回事,每當我看到這個環(huán),總是想到張衡的地震儀)。
實現(xiàn)該算法的大致思路如下:
1、構造一個哈希環(huán)
2、把服務器對應的節(jié)點映射到哈希環(huán)上
3、客戶端請求,順時針找到該哈希環(huán)上的服務器節(jié)點
如此,足矣!這么簡單的邏輯,用代碼實現(xiàn)下吧,首先需要構造一個哈希環(huán),哈希環(huán)看起來比較抽象,如何實現(xiàn)?找下規(guī)律發(fā)現(xiàn)哈希環(huán)上放的是一個KV數(shù)據(jù)對,key是哈希,value是對應的服務器,而且是順序的,自然就想到了SortedMap。
SortedMap<Integer, String> sortedMap = new TreeMap<Integer, String>();
但哈希函數(shù)如何實現(xiàn)呢?這個就比較有意思了,這里不過多介紹哈希函數(shù)的生成過程,反正你應該選擇一個分布相對均勻、區(qū)間盡可能大的哈希函數(shù),建議采用ketama或者FNV1_32,F(xiàn)NV代碼實現(xiàn)如下:
final int p = 16777619; int hash = (int) 2166136261L; for (int i = 0; i < str.length(); i++) hash = (hash ^ str.charAt(i)) * p; hash += hash << 13; hash ^= hash >> 7; hash += hash << 3; hash ^= hash >> 17; hash += hash << 5; // 如果算出來的值為負數(shù)則取其絕對值 if (hash < 0) hash = Math.abs(hash); return hash; }
那么現(xiàn)在如何把服務器節(jié)點映射哈希環(huán)中呢?且看如下代碼實現(xiàn):
for (int i = 0; i < servers.length; i++) { int hash = FNVHash(servers[i]); sortedMap.put(hash, servers[i]); }``` 當然客戶端請求過來只需要計算客戶端的哈希值,順時針旋轉找到對應的服務端節(jié)點即可,如下為代碼實現(xiàn): ```private static String getServer(String key) { //得到該key的hash值 int hash = FNVHash(key); //得到大于該Hash值的所有Map SortedMap<Integer, String> subMap = sortedMap.tailMap(hash); if (subMap.isEmpty()) { //如果沒有比該key的hash值大的,則從第一個node開始 Integer i = sortedMap.firstKey(); //返回對應的服務器 return sortedMap.get(i); } else { //第一個Key就是順時針過去離node最近的那個結點 Integer i = subMap.firstKey(); //返回對應的服務器 return subMap.get(i); } }
總結來說,假設有k個節(jié)點,數(shù)據(jù)的取值范圍就是[0, n],我們把[0,n]劃分為m個區(qū)間,m遠遠大于k,那么每個機器就負責m/k個區(qū)間。這樣如果有將幾個小區(qū)間的數(shù)據(jù)遷移到新區(qū)間上,既保證了數(shù)據(jù)的一致性,也保證了數(shù)據(jù)的均衡。簡單來說,先根據(jù)機器IP生成哈希值,當客戶端數(shù)據(jù)key進來時,進行哈希操作,落到圓環(huán)中的某一點,順時針旋轉落到第一個節(jié)點上。
這個時候你可能會發(fā)現(xiàn)一個問題,如果說節(jié)點過于稀疏,那么很可能所有數(shù)據(jù)都落到一個節(jié)點上,導致數(shù)據(jù)傾斜,這個時候可以考慮虛擬節(jié)點。虛擬節(jié)點的添加實現(xiàn)也非常簡單,大致思路是構造哈希環(huán)的過程中使用虛擬節(jié)點,取出虛擬節(jié)點,最后找到對應的真實節(jié)點即可。
“一致性hash算法有哪些重要性”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質量的實用文章!
標題名稱:一致性hash算法有哪些重要性
URL分享:http://jinyejixie.com/article30/jojjso.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供ChatGPT、網(wǎng)站維護、面包屑導航、App開發(fā)、品牌網(wǎng)站設計、Google
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)