NVMe通過(guò)改進(jìn)物理接口、增加命令數(shù)量和隊(duì)列深度,使存儲(chǔ)基礎(chǔ)設(shè)施能夠充分利用閃存的優(yōu)勢(shì)。但是NVMe也帶來(lái)了一個(gè)挑戰(zhàn):NVMe的延遲非常低,它暴露了存儲(chǔ)基礎(chǔ)架構(gòu)中其他組件的弱點(diǎn)?;A(chǔ)架構(gòu)中的任何薄弱環(huán)節(jié)都會(huì)增加延遲并降低NVMe的價(jià)值。
成都創(chuàng)新互聯(lián)公司于2013年創(chuàng)立,先為張店等服務(wù)建站,張店等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢(xún)服務(wù)。為張店企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。文件系統(tǒng)是存儲(chǔ)基礎(chǔ)架構(gòu)中的一個(gè)問(wèn)題較大的部分?,F(xiàn)在是供應(yīng)商重新考慮文件系統(tǒng)架構(gòu)的時(shí)候了,特別是,他們必須修改文件系統(tǒng)與NVMe存儲(chǔ)的交互方式,以避免成為瓶頸。
Photo by panumas nikhomkhai from Pexels
為什么是文件系統(tǒng)?
服務(wù)于AI和高速工作負(fù)載的文件系統(tǒng)通常是可橫向擴(kuò)展的。一個(gè)橫向擴(kuò)展文件系統(tǒng)由多個(gè)存儲(chǔ)服務(wù)器或節(jié)點(diǎn)組成,文件系統(tǒng)聚合這些節(jié)點(diǎn)中的內(nèi)部存儲(chǔ),將其表示為用戶(hù)和應(yīng)用程序可以訪問(wèn)的單個(gè)存儲(chǔ)池。傳統(tǒng)的文件系統(tǒng)也可以橫向擴(kuò)展,但它們是串行的,這意味著所有I/O都要經(jīng)過(guò)一個(gè)主節(jié)點(diǎn),而AI和高速工作負(fù)載很容易將其壓倒,從而造成瓶頸。這些工作負(fù)載依賴(lài)于一個(gè)并行文件系統(tǒng)結(jié)構(gòu),該結(jié)構(gòu)允許集群中的任何節(jié)點(diǎn)向用戶(hù)或應(yīng)用程序提供I/O服務(wù),這使得網(wǎng)絡(luò)效率更加重要。
大多數(shù)NVMe存儲(chǔ)系統(tǒng)都是為塊存儲(chǔ)而設(shè)計(jì)的。因此,它們避免了文件系統(tǒng)架構(gòu)的性能開(kāi)銷(xiāo)。然而,在大多數(shù)情況下,文件系統(tǒng)會(huì)被添加到塊存儲(chǔ)系統(tǒng)中,以便這些AI和高速工作負(fù)載可以使用它。大多數(shù)現(xiàn)代應(yīng)用程序——尤其是AI、機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析處理程序——都依賴(lài)于文件系統(tǒng)。
添加了文件系統(tǒng)的設(shè)計(jì)良好、基于塊的NVMe存儲(chǔ)系統(tǒng)仍然可能比基于塊的SAS存儲(chǔ)系統(tǒng)快,但是RAW塊存儲(chǔ)和文件系統(tǒng)控制的存儲(chǔ)之間的性能下降是顯著的。所以,組織需要針對(duì)NVMe進(jìn)行過(guò)優(yōu)化的文件系統(tǒng)。
對(duì)于基準(zhǔn)測(cè)試,應(yīng)關(guān)注什么
供應(yīng)商常常會(huì)使用幾個(gè)文件系統(tǒng)基準(zhǔn)測(cè)試來(lái)演示其功能。這些測(cè)試中的大多數(shù)使用帶有并行文件系統(tǒng)的NVMe塊存儲(chǔ),供應(yīng)商可以輕松地使用各種配置來(lái)使某個(gè)參數(shù)達(dá)到圖表的頂部,然這可能具有一定的誤導(dǎo)性。
例如,在當(dāng)前的標(biāo)準(zhǔn)性能評(píng)估公司SFS 2014基準(zhǔn)測(cè)試中,頂級(jí)供應(yīng)商在測(cè)試環(huán)境中的驅(qū)動(dòng)器數(shù)量、驅(qū)動(dòng)器類(lèi)型和存儲(chǔ)節(jié)點(diǎn)數(shù)量上存在顯著差異。在大多數(shù)情況下,硬件供應(yīng)商試圖通過(guò)使用超出需求的硬件來(lái)減少文件系統(tǒng)架構(gòu)開(kāi)銷(xiāo),并將價(jià)格推高到超出對(duì)于大多數(shù)組織來(lái)說(shuō)較為合理的水平。
真正重要的是硬件和文件系統(tǒng)對(duì)組織的工作負(fù)載類(lèi)型和預(yù)算的實(shí)施情況,大多數(shù)公司沒(méi)有無(wú)限的資金來(lái)創(chuàng)建完美的NVMe-文件系統(tǒng)組合。IT專(zhuān)業(yè)人員應(yīng)該尋找能夠達(dá)到需求的最簡(jiǎn)單的配置。
對(duì)于文件系統(tǒng),應(yīng)關(guān)注什么
文件系統(tǒng)性能主要有三個(gè)限制因素:
· 文件系統(tǒng)與存儲(chǔ)節(jié)點(diǎn)的通信效率;
· 文件系統(tǒng)如何高效地管理連接各個(gè)存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò),以及如何高效地與客戶(hù)端通信;
· 文件系統(tǒng)如何有效地管理元數(shù)據(jù)訪問(wèn)。
在大多數(shù)現(xiàn)代應(yīng)用程序環(huán)境中,元數(shù)據(jù)占所有I/O的80%以上。
文件系統(tǒng)通常通過(guò)操作系統(tǒng)I/O棧與存儲(chǔ)媒介通信。大多數(shù)高級(jí)文件系統(tǒng)都基于Linux,并通過(guò)該堆棧進(jìn)行通信,但是Linux堆棧增加了開(kāi)銷(xiāo)。另一種方法是文件系統(tǒng)創(chuàng)建自己的I/O通道,以連接到基于NVMe的文件系統(tǒng)。從文件系統(tǒng)開(kāi)發(fā)過(guò)程來(lái)看,與驅(qū)動(dòng)器的直接通信更加困難,但是它為文件系統(tǒng)用戶(hù)提供了獲得大性能的最佳機(jī)會(huì),而不必使用昂貴的硬件進(jìn)行過(guò)度補(bǔ)償。
文件系統(tǒng)通常通過(guò)使用標(biāo)準(zhǔn)NFS協(xié)議與客戶(hù)端通信,但是NVMe有一個(gè)網(wǎng)絡(luò)變體(NVMe- oF),現(xiàn)代文件系統(tǒng)應(yīng)該提供軟件支持并行,以及本地NVMe-oF訪問(wèn),以便在客戶(hù)端上運(yùn)行。NVMe-oF還可以用于互連各種存儲(chǔ)節(jié)點(diǎn),這樣會(huì)使文件系統(tǒng)更易于訪問(wèn),以直連存儲(chǔ)的延遲。
在全NVMe文件系統(tǒng)架構(gòu)中,元數(shù)據(jù)訪問(wèn)本質(zhì)上是快速的,但是元數(shù)據(jù)的布局方式必須是高效的,以便從NVMe的低延遲中獲益。優(yōu)化元數(shù)據(jù)性能,需要將其跨越文件系統(tǒng)集群中的所有節(jié)點(diǎn),這樣就不會(huì)出現(xiàn)單個(gè)節(jié)點(diǎn)的性能瓶頸。
如何充分利用NVMe
與其他類(lèi)型的工作負(fù)載相比,AI和高速負(fù)載可以更充分地利用NVMe。這些工作負(fù)載的挑戰(zhàn)通常是應(yīng)用程序通過(guò)文件系統(tǒng)訪問(wèn)存儲(chǔ),傳統(tǒng)的文件系統(tǒng)沒(méi)有為基于NVMe的驅(qū)動(dòng)器優(yōu)化它們的I/O。更快的節(jié)點(diǎn)硬件和NVMe驅(qū)動(dòng)器提供了更好的性能,但是傳統(tǒng)文件系統(tǒng)的架構(gòu)無(wú)法使硬件充分發(fā)揮其潛力。
為了避免這個(gè)問(wèn)題,需要尋找直接寫(xiě)入NVMe驅(qū)動(dòng)器而不是通過(guò)操作系統(tǒng)I/O堆棧的文件系統(tǒng)。還要尋找能夠讓客戶(hù)端跨NVMe-oF進(jìn)行通信的文件系統(tǒng),并以不影響性能的方式管理元數(shù)據(jù)。
原文作者:George Crump 來(lái)源:TechTarget
當(dāng)前標(biāo)題:NVMe存儲(chǔ)性能瓶頸的主要來(lái)源:文件系統(tǒng)-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址:http://jinyejixie.com/article8/hgpop.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信小程序、自適應(yīng)網(wǎng)站、電子商務(wù)、域名注冊(cè)、網(wǎng)站設(shè)計(jì)公司、Google
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容