成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

Redis為什么這么快?

2021-03-18    分類(lèi): 網(wǎng)站建設(shè)

Redis 是目前最火爆的內(nèi)存數(shù)據(jù)庫(kù)之一,通過(guò)在內(nèi)存中讀寫(xiě)數(shù)據(jù),大大提高了讀寫(xiě)速度,可以說(shuō) Redis 是實(shí)現(xiàn)網(wǎng)站高并發(fā)不可或缺的一部分。

我們使用 Redis 時(shí),會(huì)接觸 Redis 的 5 種對(duì)象類(lèi)型(字符串、哈希、列表、集合、有序集合),豐富的類(lèi)型是 Redis 相對(duì)于 Memcached 等的一大優(yōu)勢(shì)。

在了解 Redis 的 5 種對(duì)象類(lèi)型的用法和特點(diǎn)的基礎(chǔ)上,進(jìn)一步了解 Redis 的內(nèi)存模型,對(duì) Redis 的使用有很大幫助,例如:

  • 估算 Redis 內(nèi)存使用量。目前為止,內(nèi)存的使用成本仍然相對(duì)較高,使用內(nèi)存不能無(wú)所顧忌;根據(jù)需求合理的評(píng)估 Redis 的內(nèi)存使用量,選擇合適的機(jī)器配置,可以在滿足需求的情況下節(jié)約成本。
  • 優(yōu)化內(nèi)存占用。了解 Redis 內(nèi)存模型可以選擇更合適的數(shù)據(jù)類(lèi)型和編碼,更好的利用 Redis 內(nèi)存。
  • 分析解決問(wèn)題。當(dāng) Redis 出現(xiàn)阻塞、內(nèi)存占用等問(wèn)題時(shí),盡快發(fā)現(xiàn)導(dǎo)致問(wèn)題的原因,便于分析解決問(wèn)題。

這篇文章主要介紹 Redis 的內(nèi)存模型(以 3.0 為例),包括 Redis 占用內(nèi)存的情況及如何查詢、不同的對(duì)象類(lèi)型在內(nèi)存中的編碼方式、內(nèi)存分配器(jemalloc)、簡(jiǎn)單動(dòng)態(tài)字符串(SDS)、RedisObject 等;然后在此基礎(chǔ)上介紹幾個(gè) Redis 內(nèi)存模型的應(yīng)用。

Redis 內(nèi)存統(tǒng)計(jì)

工欲善其事必先利其器,在說(shuō)明 Redis 內(nèi)存之前首先說(shuō)明如何統(tǒng)計(jì) Redis 使用內(nèi)存的情況。

在客戶端通過(guò) redis-cli 連接服務(wù)器后(后面如無(wú)特殊說(shuō)明,客戶端一律使用redis-cli),通過(guò) info 命令可以查看內(nèi)存使用情況:info memory。

其中,info 命令可以顯示 Redis 服務(wù)器的許多信息,包括服務(wù)器基本信息、CPU、內(nèi)存、持久化、客戶端連接信息等等;Memory 是參數(shù),表示只顯示內(nèi)存相關(guān)的信息。

返回結(jié)果中比較重要的幾個(gè)說(shuō)明如下:

used_memory

Redis 分配器分配的內(nèi)存總量(單位是字節(jié)),包括使用的虛擬內(nèi)存(即 swap);Redis 分配器后面會(huì)介紹。used_memory_human 只是顯示更友好。

used_memory_rss

Redis 進(jìn)程占據(jù)操作系統(tǒng)的內(nèi)存(單位是字節(jié)),與 top 及 ps 命令看到的值是一致的。

除了分配器分配的內(nèi)存之外,used_memory_rss 還包括進(jìn)程運(yùn)行本身需要的內(nèi)存、內(nèi)存碎片等,但是不包括虛擬內(nèi)存。

因此,used_memory 和 used_memory_rss,前者是從 Redis 角度得到的量,后者是從操作系統(tǒng)角度得到的量。

二者之所以有所不同,一方面是因?yàn)閮?nèi)存碎片和 Redis 進(jìn)程運(yùn)行需要占用內(nèi)存,使得前者可能比后者小,另一方面虛擬內(nèi)存的存在,使得前者可能比后者大。

由于在實(shí)際應(yīng)用中,Redis 的數(shù)據(jù)量會(huì)比較大,此時(shí)進(jìn)程運(yùn)行占用的內(nèi)存與 Redis 數(shù)據(jù)量和內(nèi)存碎片相比,都會(huì)小得多。

因此 used_memory_rss 和 used_memory 的比例,便成了衡量 Redis 內(nèi)存碎片率的參數(shù);這個(gè)參數(shù)就是 mem_fragmentation_ratio。

mem_fragmentation_ratio

內(nèi)存碎片比率,該值是 used_memory_rss / used_memory 的比值。

mem_fragmentation_ratio 一般大于 1,且該值越大,內(nèi)存碎片比例越大;mem_fragmentation_ratio<1,說(shuō)明 Redis 使用了虛擬內(nèi)存,由于虛擬內(nèi)存的媒介是磁盤(pán),比內(nèi)存速度要慢很多。

當(dāng)這種情況出現(xiàn)時(shí),應(yīng)該及時(shí)排查,如果內(nèi)存不足應(yīng)該及時(shí)處理,如增加 Redis 節(jié)點(diǎn)、增加 Redis 服務(wù)器的內(nèi)存、優(yōu)化應(yīng)用等。

一般來(lái)說(shuō),mem_fragmentation_ratio 在 1.03 左右是比較健康的狀態(tài)(對(duì)于 jemalloc 來(lái)說(shuō))。

上面截圖中的 mem_fragmentation_ratio 值很大,是因?yàn)檫€沒(méi)有向 Redis 中存入數(shù)據(jù),Redis 進(jìn)程本身運(yùn)行的內(nèi)存使得 used_memory_rss 比 used_memory 大得多。

mem_allocator

Redis 使用的內(nèi)存分配器,在編譯時(shí)指定;可以是 libc 、jemalloc 或者 tcmalloc,默認(rèn)是 jemalloc;截圖中使用的便是默認(rèn)的 jemalloc。

Redis 內(nèi)存劃分

Redis 作為內(nèi)存數(shù)據(jù)庫(kù),在內(nèi)存中存儲(chǔ)的內(nèi)容主要是數(shù)據(jù)(鍵值對(duì));通過(guò)前面的敘述可以知道,除了數(shù)據(jù)以外,Redis 的其他部分也會(huì)占用內(nèi)存。

Redis 的內(nèi)存占用主要可以劃分為以下幾個(gè)部分:

數(shù)據(jù)

作為數(shù)據(jù)庫(kù),數(shù)據(jù)是最主要的部分;這部分占用的內(nèi)存會(huì)統(tǒng)計(jì)在 used_memory 中。

Redis 使用鍵值對(duì)存儲(chǔ)數(shù)據(jù),其中的值(對(duì)象)包括 5 種類(lèi)型,即字符串、哈希、列表、集合、有序集合。

這 5 種類(lèi)型是 Redis 對(duì)外提供的,實(shí)際上,在 Redis 內(nèi)部,每種類(lèi)型可能有 2 種或更多的內(nèi)部編碼實(shí)現(xiàn)。

此外,Redis 在存儲(chǔ)對(duì)象時(shí),并不是直接將數(shù)據(jù)扔進(jìn)內(nèi)存,而是會(huì)對(duì)對(duì)象進(jìn)行各種包裝:如 RedisObject、SDS 等;這篇文章后面將重點(diǎn)介紹 Redis 中數(shù)據(jù)存儲(chǔ)的細(xì)節(jié)。

進(jìn)程本身運(yùn)行需要的內(nèi)存

Redis 主進(jìn)程本身運(yùn)行肯定需要占用內(nèi)存,如代碼、常量池等等;這部分內(nèi)存大約幾兆,在大多數(shù)生產(chǎn)環(huán)境中與 Redis 數(shù)據(jù)占用的內(nèi)存相比可以忽略。

這部分內(nèi)存不是由 jemalloc 分配,因此不會(huì)統(tǒng)計(jì)在 used_memory 中。

補(bǔ)充說(shuō)明:除了主進(jìn)程外,Redis 創(chuàng)建的子進(jìn)程運(yùn)行也會(huì)占用內(nèi)存,如 Redis 執(zhí)行 AOF、RDB 重寫(xiě)時(shí)創(chuàng)建的子進(jìn)程。

當(dāng)然,這部分內(nèi)存不屬于 Redis 進(jìn)程,也不會(huì)統(tǒng)計(jì)在 used_memory 和 used_memory_rss 中。

緩沖內(nèi)存

緩沖內(nèi)存包括客戶端緩沖區(qū)、復(fù)制積壓緩沖區(qū)、AOF 緩沖區(qū)等;其中,客戶端緩沖區(qū)存儲(chǔ)客戶端連接的輸入輸出緩沖;復(fù)制積壓緩沖區(qū)用于部分復(fù)制功能;AOF 緩沖區(qū)用于在進(jìn)行 AOF 重寫(xiě)時(shí),保存最近的寫(xiě)入命令。

在了解相應(yīng)功能之前,不需要知道這些緩沖的細(xì)節(jié);這部分內(nèi)存由 jemalloc 分配,因此會(huì)統(tǒng)計(jì)在 used_memory 中。

內(nèi)存碎片

內(nèi)存碎片是 Redis 在分配、回收物理內(nèi)存過(guò)程中產(chǎn)生的。例如,如果對(duì)數(shù)據(jù)的更改頻繁,而且數(shù)據(jù)之間的大小相差很大,可能導(dǎo)致 Redis 釋放的空間在物理內(nèi)存中并沒(méi)有釋放。

但 Redis 又無(wú)法有效利用,這就形成了內(nèi)存碎片,內(nèi)存碎片不會(huì)統(tǒng)計(jì)在 used_memory 中。

內(nèi)存碎片的產(chǎn)生與對(duì)數(shù)據(jù)進(jìn)行的操作、數(shù)據(jù)的特點(diǎn)等都有關(guān);此外,與使用的內(nèi)存分配器也有關(guān)系:如果內(nèi)存分配器設(shè)計(jì)合理,可以盡可能的減少內(nèi)存碎片的產(chǎn)生。后面將要說(shuō)到的 jemalloc 便在控制內(nèi)存碎片方面做的很好。

如果 Redis 服務(wù)器中的內(nèi)存碎片已經(jīng)很大,可以通過(guò)安全重啟的方式減小內(nèi)存碎片:因?yàn)橹貑⒅螅琑edis 重新從備份文件中讀取數(shù)據(jù),在內(nèi)存中進(jìn)行重排,為每個(gè)數(shù)據(jù)重新選擇合適的內(nèi)存單元,減小內(nèi)存碎片。

Redis 數(shù)據(jù)存儲(chǔ)的細(xì)節(jié)

關(guān)于 Redis 數(shù)據(jù)存儲(chǔ)的細(xì)節(jié),涉及到內(nèi)存分配器(如 jemalloc)、簡(jiǎn)單動(dòng)態(tài)字符串(SDS)、5 種對(duì)象類(lèi)型及內(nèi)部編碼、RedisObject。在講述具體內(nèi)容之前,先說(shuō)明一下這幾個(gè)概念之間的關(guān)系。

下圖是執(zhí)行 set hello world 時(shí),所涉及到的數(shù)據(jù)模型:

dictEntry:Redis 是 Key-Value 數(shù)據(jù)庫(kù),因此對(duì)每個(gè)鍵值對(duì)都會(huì)有一個(gè) dictEntry,里面存儲(chǔ)了指向 Key 和 Value 的指針;next 指向下一個(gè) dictEntry,與本 Key-Value 無(wú)關(guān)。

Key:圖中右上角可見(jiàn),Key(”hello”)并不是直接以字符串存儲(chǔ),而是存儲(chǔ)在 SDS 結(jié)構(gòu)中。

RedisObject:Value(“world”)既不是直接以字符串存儲(chǔ),也不是像 Key 一樣直接存儲(chǔ)在 SDS 中,而是存儲(chǔ)在 RedisObject 中。

實(shí)際上,不論 Value 是 5 種類(lèi)型的哪一種,都是通過(guò) RedisObject 來(lái)存儲(chǔ)的;而 RedisObject 中的 type 字段指明了 Value 對(duì)象的類(lèi)型,ptr 字段則指向?qū)ο笏诘牡刂贰?/p>

不過(guò)可以看出,字符串對(duì)象雖然經(jīng)過(guò)了 RedisObject 的包裝,但仍然需要通過(guò) SDS 存儲(chǔ)。

實(shí)際上,RedisObject 除了 type 和 ptr 字段以外,還有其他字段圖中沒(méi)有給出,如用于指定對(duì)象內(nèi)部編碼的字段。

jemalloc:無(wú)論是 DictEntry 對(duì)象,還是 RedisObject、SDS 對(duì)象,都需要內(nèi)存分配器(如 jemalloc)分配內(nèi)存進(jìn)行存儲(chǔ)。

以 DictEntry 對(duì)象為例,有 3 個(gè)指針組成,在 64 位機(jī)器下占 24 個(gè)字節(jié),jemalloc 會(huì)為它分配 32 字節(jié)大小的內(nèi)存單元。

下面來(lái)分別介紹 jemalloc、RedisObject、SDS、對(duì)象類(lèi)型及內(nèi)部編碼。

jemalloc

Redis 在編譯時(shí)便會(huì)指定內(nèi)存分配器;內(nèi)存分配器可以是 libc 、jemalloc 或者 tcmalloc,默認(rèn)是 jemalloc。

jemalloc 作為 Redis 的默認(rèn)內(nèi)存分配器,在減小內(nèi)存碎片方面做的相對(duì)比較好。

jemalloc 在 64 位系統(tǒng)中,將內(nèi)存空間劃分為小、大、巨大三個(gè)范圍;每個(gè)范圍內(nèi)又劃分了許多小的內(nèi)存塊單位;當(dāng) Redis 存儲(chǔ)數(shù)據(jù)時(shí),會(huì)選擇大小最合適的內(nèi)存塊進(jìn)行存儲(chǔ)。

jemalloc 劃分的內(nèi)存單元如下圖所示:

例如,如果需要存儲(chǔ)大小為 130 字節(jié)的對(duì)象,jemalloc 會(huì)將其放入 160 字節(jié)的內(nèi)存單元中。

RedisObject

前面說(shuō)到,Redis 對(duì)象有 5 種類(lèi)型;無(wú)論是哪種類(lèi)型,Redis 都不會(huì)直接存儲(chǔ),而是通過(guò) RedisObject 對(duì)象進(jìn)行存儲(chǔ)。

RedisObject 對(duì)象非常重要,Redis 對(duì)象的類(lèi)型、內(nèi)部編碼、內(nèi)存回收、共享對(duì)象等功能,都需要 RedisObject 支持,下面將通過(guò) RedisObject 的結(jié)構(gòu)來(lái)說(shuō)明它是如何起作用的。

RedisObject 的定義如下(不同版本的 Redis 可能稍稍有所不同):

RedisObject 的每個(gè)字段的含義和作用如下:

type

type 字段表示對(duì)象的類(lèi)型,占 4 個(gè)比特;目前包括 REDIS_STRING(字符串)、REDIS_LIST (列表)、REDIS_HASH(哈希)、REDIS_SET(集合)、REDIS_ZSET(有序集合)。

當(dāng)我們執(zhí)行 type 命令時(shí),便是通過(guò)讀取 RedisObject 的 type 字段獲得對(duì)象的類(lèi)型;如下圖所示:

encoding

encoding 表示對(duì)象的內(nèi)部編碼,占 4 個(gè)比特。對(duì)于 Redis 支持的每種類(lèi)型,都有至少兩種內(nèi)部編碼,例如對(duì)于字符串,有 int、embstr、raw 三種編碼。

通過(guò) encoding 屬性,Redis 可以根據(jù)不同的使用場(chǎng)景來(lái)為對(duì)象設(shè)置不同的編碼,大大提高了 Redis 的靈活性和效率。

以列表對(duì)象為例,有壓縮列表和雙端鏈表兩種編碼方式;如果列表中的元素較少,Redis 傾向于使用壓縮列表進(jìn)行存儲(chǔ),因?yàn)閴嚎s列表占用內(nèi)存更少,而且比雙端鏈表可以更快載入。

當(dāng)列表對(duì)象元素較多時(shí),壓縮列表就會(huì)轉(zhuǎn)化為更適合存儲(chǔ)大量元素的雙端鏈表。

通過(guò) object encoding 命令,可以查看對(duì)象采用的編碼方式,如下圖所示:

5 種對(duì)象類(lèi)型對(duì)應(yīng)的編碼方式以及使用條件,將在后面介紹。

lru

lru 記錄的是對(duì)象最后一次被命令程序訪問(wèn)的時(shí)間,占據(jù)的比特?cái)?shù)不同的版本有所不同(如 4.0 版本占 24 比特,2.6 版本占 22 比特)。

通過(guò)對(duì)比 lru 時(shí)間與當(dāng)前時(shí)間,可以計(jì)算某個(gè)對(duì)象的空轉(zhuǎn)時(shí)間;object idletime 命令可以顯示該空轉(zhuǎn)時(shí)間(單位是秒)。object idletime 命令的一個(gè)特殊之處在于它不改變對(duì)象的 lru 值。

lru 值除了通過(guò) object idletime 命令打印之外,還與 Redis 的內(nèi)存回收有關(guān)系。

如果 Redis 打開(kāi)了 maxmemory 選項(xiàng),且內(nèi)存回收算法選擇的是 volatile-lru 或 allkeys—lru,那么當(dāng) Redis 內(nèi)存占用超過(guò) maxmemory 指定的值時(shí),Redis 會(huì)優(yōu)先選擇空轉(zhuǎn)時(shí)間最長(zhǎng)的對(duì)象進(jìn)行釋放。

refcount

refcount 與共享對(duì)象:refcount 記錄的是該對(duì)象被引用的次數(shù),類(lèi)型為整型。refcount 的作用,主要在于對(duì)象的引用計(jì)數(shù)和內(nèi)存回收。

當(dāng)創(chuàng)建新對(duì)象時(shí),refcount 初始化為 1;當(dāng)有新程序使用該對(duì)象時(shí),refcount 加 1;當(dāng)對(duì)象不再被一個(gè)新程序使用時(shí),refcount 減 1;當(dāng) refcount 變?yōu)?0 時(shí),對(duì)象占用的內(nèi)存會(huì)被釋放。

Redis 中被多次使用的對(duì)象(refcount>1),稱為共享對(duì)象。Redis 為了節(jié)省內(nèi)存,當(dāng)有一些對(duì)象重復(fù)出現(xiàn)時(shí),新的程序不會(huì)創(chuàng)建新的對(duì)象,而是仍然使用原來(lái)的對(duì)象。

這個(gè)被重復(fù)使用的對(duì)象,就是共享對(duì)象。目前共享對(duì)象僅支持整數(shù)值的字符串對(duì)象。

共享對(duì)象的具體實(shí)現(xiàn):Redis 的共享對(duì)象目前只支持整數(shù)值的字符串對(duì)象。之所以如此,實(shí)際上是對(duì)內(nèi)存和 CPU(時(shí)間)的平衡:共享對(duì)象雖然會(huì)降低內(nèi)存消耗,但是判斷兩個(gè)對(duì)象是否相等卻需要消耗額外的時(shí)間。

對(duì)于整數(shù)值,判斷操作復(fù)雜度為 O(1);對(duì)于普通字符串,判斷復(fù)雜度為 O(n);而對(duì)于哈希、列表、集合和有序集合,判斷的復(fù)雜度為 O(n^2)。

雖然共享對(duì)象只能是整數(shù)值的字符串對(duì)象,但是5種類(lèi)型都可能使用共享對(duì)象(如哈希、列表等的元素可以使用)。

就目前的實(shí)現(xiàn)來(lái)說(shuō),Redis 服務(wù)器在初始化時(shí),會(huì)創(chuàng)建 10000 個(gè)字符串對(duì)象,值分別是 0~9999 的整數(shù)值;當(dāng) Redis 需要使用值為 0~9999 的字符串對(duì)象時(shí),可以直接使用這些共享對(duì)象。

10000 這個(gè)數(shù)字可以通過(guò)調(diào)整參數(shù) REDIS_SHARED_INTEGERS(4.0 中是 OBJ_SHARED_INTEGERS)的值進(jìn)行改變。

共享對(duì)象的引用次數(shù)可以通過(guò) object refcount 命令查看,如下圖所示。命令執(zhí)行的結(jié)果頁(yè)佐證了只有 0~9999 之間的整數(shù)會(huì)作為共享對(duì)象。

ptr

ptr 指針指向具體的數(shù)據(jù),如前面的例子中,set hello world,ptr 指向包含字符串 world 的 SDS。

綜上所述,RedisObject 的結(jié)構(gòu)與對(duì)象類(lèi)型、編碼、內(nèi)存回收、共享對(duì)象都有關(guān)系。

一個(gè) RedisObject 對(duì)象的大小為 16 字節(jié):4bit+4bit+24bit+4Byte+8Byte=16Byte。

SDS

Redis 沒(méi)有直接使用 C 字符串(即以空字符’\0’結(jié)尾的字符數(shù)組)作為默認(rèn)的字符串表示,而是使用了 SDS。SDS 是簡(jiǎn)單動(dòng)態(tài)字符串(Simple Dynamic String)的縮寫(xiě)。

SDS 結(jié)構(gòu)

SDS 的結(jié)構(gòu)如下:

其中,buf 表示字節(jié)數(shù)組,用來(lái)存儲(chǔ)字符串;len 表示 buf 已使用的長(zhǎng)度;free 表示 buf 未使用的長(zhǎng)度。

下面是兩個(gè)例子:

通過(guò) SDS 的結(jié)構(gòu)可以看出,buf 數(shù)組的長(zhǎng)度=free+len+1(其中 1 表示字符串結(jié)尾的空字符)。

所以,一個(gè) SDS 結(jié)構(gòu)占據(jù)的空間為:free 所占長(zhǎng)度+len 所占長(zhǎng)度+ buf 數(shù)組的長(zhǎng)度=4+4+free+len+1=free+len+9。

SDS 與 C 字符串的比較

SDS 在 C 字符串的基礎(chǔ)上加入了 free 和 len 字段,帶來(lái)了很多好處:

獲取字符串長(zhǎng)度:SDS 是 O(1),C 字符串是 O(n)。

緩沖區(qū)溢出:使用 C 字符串的 API 時(shí),如果字符串長(zhǎng)度增加(如 strcat 操作)而忘記重新分配內(nèi)存,很容易造成緩沖區(qū)的溢出。

而 SDS 由于記錄了長(zhǎng)度,相應(yīng)的 API 在可能造成緩沖區(qū)溢出時(shí)會(huì)自動(dòng)重新分配內(nèi)存,杜絕了緩沖區(qū)溢出。

修改字符串時(shí)內(nèi)存的重分配:對(duì)于 C 字符串,如果要修改字符串,必須要重新分配內(nèi)存(先釋放再申請(qǐng)),因?yàn)槿绻麤](méi)有重新分配,字符串長(zhǎng)度增大時(shí)會(huì)造成內(nèi)存緩沖區(qū)溢出,字符串長(zhǎng)度減小時(shí)會(huì)造成內(nèi)存泄露。

而對(duì)于 SDS,由于可以記錄 len 和 free,因此解除了字符串長(zhǎng)度和空間數(shù)組長(zhǎng)度之間的關(guān)聯(lián),可以在此基礎(chǔ)上進(jìn)行優(yōu)化。

空間預(yù)分配策略(即分配內(nèi)存時(shí)比實(shí)際需要的多)使得字符串長(zhǎng)度增大時(shí)重新分配內(nèi)存的概率大大減??;惰性空間釋放策略使得字符串長(zhǎng)度減小時(shí)重新分配內(nèi)存的概率大大減小。

存取二進(jìn)制數(shù)據(jù):SDS 可以,C 字符串不可以。因?yàn)?C 字符串以空字符作為字符串結(jié)束的標(biāo)識(shí),而對(duì)于一些二進(jìn)制文件(如圖片等)。

內(nèi)容可能包括空字符串,因此 C 字符串無(wú)法正確存?。欢?SDS 以字符串長(zhǎng)度 len 來(lái)作為字符串結(jié)束標(biāo)識(shí),因此沒(méi)有這個(gè)問(wèn)題。

此外,由于 SDS 中的 buf 仍然使用了 C 字符串(即以’\0’結(jié)尾),因此 SDS 可以使用 C 字符串庫(kù)中的部分函數(shù)。

但是需要注意的是,只有當(dāng) SDS 用來(lái)存儲(chǔ)文本數(shù)據(jù)時(shí)才可以這樣使用,在存儲(chǔ)二進(jìn)制數(shù)據(jù)時(shí)則不行(’\0’不一定是結(jié)尾)。

SDS 與 C 字符串的應(yīng)用

Redis 在存儲(chǔ)對(duì)象時(shí),一律使用 SDS 代替 C 字符串。例如 set hello world 命令,hello 和 world 都是以 SDS 的形式存儲(chǔ)的。

而 sadd myset member1 member2 member3 命令,不論是鍵(“myset”),還是集合中的元素(“member1”、 “member2”和“member3”),都是以 SDS 的形式存儲(chǔ)。

除了存儲(chǔ)對(duì)象,SDS 還用于存儲(chǔ)各種緩沖區(qū)。只有在字符串不會(huì)改變的情況下,如打印日志時(shí),才會(huì)使用 C 字符串。

Redis 的對(duì)象類(lèi)型與內(nèi)部編碼

前面已經(jīng)說(shuō)過(guò),Redis 支持 5 種對(duì)象類(lèi)型,而每種結(jié)構(gòu)都有至少兩種編碼。

這樣做的好處在于:一方面接口與實(shí)現(xiàn)分離,當(dāng)需要增加或改變內(nèi)部編碼時(shí),用戶使用不受影響,另一方面可以根據(jù)不同的應(yīng)用場(chǎng)景切換內(nèi)部編碼,提高效率。

Redis 各種對(duì)象類(lèi)型支持的內(nèi)部編碼如下圖所示(圖中版本是 Redis3.0,Redis 后面版本中又增加了內(nèi)部編碼,略過(guò)不提;本章所介紹的內(nèi)部編碼都是基于 3.0 的):

關(guān)于 Redis 內(nèi)部編碼的轉(zhuǎn)換,都符合以下規(guī)律:編碼轉(zhuǎn)換在 Redis 寫(xiě)入數(shù)據(jù)時(shí)完成,且轉(zhuǎn)換過(guò)程不可逆,只能從小內(nèi)存編碼向大內(nèi)存編碼轉(zhuǎn)換。

字符串

字符串是最基礎(chǔ)的類(lèi)型,因?yàn)樗械逆I都是字符串類(lèi)型,且字符串之外的其他幾種復(fù)雜類(lèi)型的元素也是字符串,字符串長(zhǎng)度不能超過(guò) 512MB。

內(nèi)部編碼

字符串類(lèi)型的內(nèi)部編碼有 3 種,它們的應(yīng)用場(chǎng)景如下:

int:8 個(gè)字節(jié)的長(zhǎng)整型。字符串值是整型時(shí),這個(gè)值使用 long 整型表示。

embstr:<=39 字節(jié)的字符串。embstr 與 raw 都使用 RedisObject 和 sds 保存數(shù)據(jù)。

區(qū)別在于:embstr 的使用只分配一次內(nèi)存空間(因此 RedisObject 和 sds 是連續(xù)的),而 raw 需要分配兩次內(nèi)存空間(分別為 RedisObject 和 sds 分配空間)。

因此與 raw 相比,embstr 的好處在于創(chuàng)建時(shí)少分配一次空間,刪除時(shí)少釋放一次空間,以及對(duì)象的所有數(shù)據(jù)連在一起,尋找方便。

而 embstr 的壞處也很明顯,如果字符串的長(zhǎng)度增加需要重新分配內(nèi)存時(shí),整個(gè) RedisObject 和 sds 都需要重新分配空間,因此 Redis 中的 embstr 實(shí)現(xiàn)為只讀。

raw:大于 39 個(gè)字節(jié)的字符串。

示例如下圖所示:

embstr 和 raw 進(jìn)行區(qū)分的長(zhǎng)度,是 39;是因?yàn)?RedisObject 的長(zhǎng)度是 16 字節(jié),sds 的長(zhǎng)度是 9+ 字符串長(zhǎng)度。

因此當(dāng)字符串長(zhǎng)度是 39 時(shí),embstr 的長(zhǎng)度正好是 16+9+39=64,jemalloc 正好可以分配 64 字節(jié)的內(nèi)存單元。

編碼轉(zhuǎn)換

當(dāng) int 數(shù)據(jù)不再是整數(shù),或大小超過(guò)了 long 的范圍時(shí),自動(dòng)轉(zhuǎn)化為 raw。

而對(duì)于 embstr,由于其實(shí)現(xiàn)是只讀的,因此在對(duì) embstr 對(duì)象進(jìn)行修改時(shí),都會(huì)先轉(zhuǎn)化為 raw 再進(jìn)行修改。

因此,只要是修改 embstr 對(duì)象,修改后的對(duì)象一定是 raw 的,無(wú)論是否達(dá)到了 39 個(gè)字節(jié)。

示例如下圖所示:

列表

列表(list)用來(lái)存儲(chǔ)多個(gè)有序的字符串,每個(gè)字符串稱為元素;一個(gè)列表可以存儲(chǔ) 2^32-1 個(gè)元素。

Redis 中的列表支持兩端插入和彈出,并可以獲得指定位置(或范圍)的元素,可以充當(dāng)數(shù)組、隊(duì)列、棧等。

內(nèi)部編碼

列表的內(nèi)部編碼可以是壓縮列表(ziplist)或雙端鏈表(linkedlist)。

雙端鏈表:由一個(gè) list 結(jié)構(gòu)和多個(gè) listNode 結(jié)構(gòu)組成;典型結(jié)構(gòu)如下圖所示:

通過(guò)圖中可以看出,雙端鏈表同時(shí)保存了表頭指針和表尾指針,并且每個(gè)節(jié)點(diǎn)都有指向前和指向后的指針。

鏈表中保存了列表的長(zhǎng)度;dup、free 和 match 為節(jié)點(diǎn)值設(shè)置類(lèi)型特定函數(shù)。

所以鏈表可以用于保存各種不同類(lèi)型的值,而鏈表中每個(gè)節(jié)點(diǎn)指向的是type為字符串的 RedisObject。

壓縮列表:壓縮列表是 Redis 為了節(jié)約內(nèi)存而開(kāi)發(fā)的,是由一系列特殊編碼的連續(xù)內(nèi)存塊(而不是像雙端鏈表一樣每

文章題目:Redis為什么這么快?
鏈接URL:http://jinyejixie.com/news38/105388.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站定制網(wǎng)站、品牌網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、商城網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
静海县| 乌兰察布市| 华容县| 越西县| 宣威市| 祁门县| 新疆| 邵东县| 泸定县| 依安县| 台山市| 新源县| 河北区| 岳普湖县| 上饶县| 利辛县| 抚远县| 古交市| 乌鲁木齐县| 香河县| 洛浦县| 大足县| 绥宁县| 交口县| 新竹市| 苍梧县| 收藏| 枝江市| 嘉义县| 望谟县| 宁都县| 同德县| 繁峙县| 博白县| 宣威市| 丰原市| 永新县| 福泉市| 敖汉旗| 岱山县| 义乌市|