這篇文章主要介紹了如何構(gòu)建基于Ceph對象存儲，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計制作、成都做網(wǎng)站與策劃設(shè)計,灌陽網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:灌陽等地區(qū)。灌陽做網(wǎng)站價格咨詢:18980820575

存儲發(fā)展

數(shù)據(jù)存儲是人類永恒的話題和不斷探索的主題

• 繩結(jié)記事

  原始社會，文字未發(fā)明之前 ，人們所使用的一種記事方法，在繩子上打結(jié)記事。

• 穿孔卡

  穿孔卡片是始于20世紀(jì)的主要存儲方法，也是最早的機械化信息存儲形式，進(jìn)入20世紀(jì)60年代后，逐漸被其他存儲手段取代。目前穿孔卡片已經(jīng)極少使用，除非用于讀出當(dāng)年存儲的歷史數(shù)據(jù)。

• 磁鼓存儲器

  20世紀(jì)50年代，磁鼓作為內(nèi)存儲器應(yīng)用于IBM 650。在后續(xù)的IBM 360/91和DEC PDP-11中，磁鼓也用作交換區(qū)存儲和頁面存儲。磁鼓的代表性產(chǎn)品是IBM 2301固定頭磁鼓存儲器。磁鼓是利用鋁鼓筒表面涂覆的磁性材料來存儲數(shù)據(jù)的。鼓筒旋轉(zhuǎn)速度很高，因此存取速度快。它采用飽和磁記錄，從固定式磁頭發(fā)展到浮動式磁頭，從采用磁膠發(fā)展到采用電鍍的連續(xù)磁介質(zhì)。這些都為后來的磁盤存儲器打下了基礎(chǔ)。

  磁鼓大的缺點是存儲容量太小。一個大圓柱體只有表面一層用于存儲，而磁盤的兩面都可用來存儲，顯然利用率要高得多。因此，當(dāng)磁盤出現(xiàn)后，磁鼓就被淘汰了。

• 磁帶

  磁帶是從1951年起被作為數(shù)據(jù)存儲設(shè)備使用的，磁帶是所有存儲媒體中單位存儲成本最低、容量大、標(biāo)準(zhǔn)化程度最高的常用存儲介質(zhì)之一。從 20 世紀(jì) 70 年代后期到 80 年代出現(xiàn)了小型的盒式磁帶，長度為 90 分鐘的磁帶每一面可以記錄大約 660KB的數(shù)據(jù)。

• 軟盤

  軟盤發(fā)明于1969年，直徑是8英寸，單面容量80KB。4年后，5.25英寸、容量為320KB的軟盤誕生了。軟盤的發(fā)展趨勢是盤片直徑越來越小，而容量卻越來越大，可靠性也越來越高。圖2-10是三種典型的軟盤，其中a為不同外觀尺寸的軟盤，b中3.5英寸軟盤的容量為1.44MB，曾經(jīng)作為主要的移動存儲介質(zhì)被廣泛使用。到了20世紀(jì)90年代后期，出現(xiàn)了容量為250MB的3.5英寸軟盤產(chǎn)品，但由于兼容性、可靠性、成本等原因，并未被廣泛使用，如今已難尋蹤跡。

• 光盤

  早期光盤主要用于電影行業(yè)，第一張光盤于1987年進(jìn)入市場， 直徑為30cm，每一面可以記錄60分鐘的音視頻。

• 硬盤存儲器

  第一款硬盤驅(qū)動器是IBM Model 350 Disk File， 于 1956 年制造，包含了 50 張 24 英寸的盤片，總?cè)萘坎坏?MB，機械硬盤發(fā)展至今，單盤容量已經(jīng)超過16T了 。

存儲的三種方式

塊存儲

DAS

直接附加存儲（Directed Attached Storage，DAS）作為一種最簡單的外接存儲方式，通過數(shù)據(jù)線直接連接在各種服務(wù)器或客戶端擴展接口上。它本身是硬件的堆疊，不帶有任何存儲操作系統(tǒng)，因而也不能獨立于服務(wù)器對外提供存儲服務(wù)。DAS常見的形式是外置磁盤陣列，通常的配置就是RAID控制器+一堆磁盤。DAS安裝方便、成本較低的特性使其特別適合于對存儲容量要求不高、服務(wù)器數(shù)量較少的中小型數(shù)據(jù)中心。

SAN

存儲區(qū)域網(wǎng)絡(luò)（Storage Area Network，簡稱SAN），SAN默認(rèn)指FC-SAN，SAN存儲有兩種結(jié)構(gòu)：

• FC-SAN

  典型的SAN利用光纖通道（Fiber Channel，F(xiàn)C）技術(shù)連接節(jié)點，并使用光纖通道交換機（FC Switch）提供網(wǎng)絡(luò)交換。不同于通用的數(shù)據(jù)網(wǎng)絡(luò)，存儲區(qū)域網(wǎng)絡(luò)中的數(shù)據(jù)傳輸基于FC協(xié)議棧。在FC協(xié)議棧之上運行的SCSI協(xié)議提供存儲訪問服務(wù)。與之相對的iSCSI存儲協(xié)議，則提供了一種低成本的替代方式，即將SCSI協(xié)議運行于TCP/IP協(xié)議棧之上。為了區(qū)別這兩種存儲區(qū)域網(wǎng)絡(luò)，前者通常稱為FC SAN，后者稱為IP SAN。

• IP-SAN

  由于FC-SAN的高成本，人們就開始考慮構(gòu)建基于以太網(wǎng)技術(shù)的存儲網(wǎng)絡(luò)，使得的iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議。但是在SAN中，傳輸?shù)闹噶钍?SCSI的讀寫指令，不是IP數(shù)據(jù)包。iSCSI（互聯(lián)網(wǎng)小型計算機系統(tǒng)接口）是一種在TCP/IP上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由Cisco和IBM兩家發(fā)起的，并且得到了各大存儲廠商的大力支持。iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行快速的數(shù)據(jù)存取備份操作。為了與之前基于光纖技術(shù)的FC SAN區(qū)分開來，這種技術(shù)被稱為IP SAN。

優(yōu)點

• 高性能，集中化的管理，穩(wěn)定性和安全性得到保障

缺點

• 成本昂貴，磁盤陣列的兼容性限制了設(shè)備選擇空間及資源共享

NAS存儲

圖片來源：redhat官網(wǎng)

Network Attached Storage 網(wǎng)絡(luò)附加存儲，采用 NFS 或 CIFS 協(xié)議訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過 TCP/IP實現(xiàn)網(wǎng)絡(luò)化存儲，可擴展性好、價格便宜、用戶易管理，如目前在集群計算中應(yīng)用較多的NFS文件系統(tǒng)。

優(yōu)點

• 造價成本低，有一個服務(wù)器，裝上網(wǎng)絡(luò)文件存儲軟件，就可以提供給其他服務(wù)器掛載訪問。

• 文件級的數(shù)據(jù)共享

缺點

• 讀寫速率低

對象存儲

塊存儲讀寫快、不利于數(shù)據(jù)共享，文件存儲數(shù)據(jù)共享方便、但是讀寫慢，能否弄一個讀寫快而且可以共享數(shù)據(jù)的存儲，于是對象存儲就誕生了。塊存儲和文件存儲是我們比較熟悉的兩種主流的存儲類型，而對象存儲（Object-based Storage）是一種新的網(wǎng)絡(luò)存儲架構(gòu)。

3個核心概念

對象

對象是對象存儲中的最小單元，比如照片就是一個對象，對象由元數(shù)據(jù)信息(MataData，包含Length，lastModify等），用戶數(shù)據(jù)(Data)，用戶自定義的數(shù)據(jù)信息（拍攝者、拍攝設(shè)備等）和文件名（Key）組成。

存儲桶

作為存放對象的容器

用戶

對象存儲的使用者，存儲桶的擁有者，每個用戶使用AccessKeyId 和 SecretAccessKey對稱加密的方法來驗證某個請求的發(fā)送者身份。

對象存儲適合存什么

用來存海量非結(jié)構(gòu)化數(shù)據(jù)的，對象存儲將數(shù)據(jù)以對象的方式存儲，而不是以傳統(tǒng)的文件和數(shù)據(jù)塊的形式存儲，每個對象都要存儲數(shù)據(jù)、元數(shù)據(jù)和一個唯一的標(biāo)識符。

• 圖片

• 視頻

• 音頻

• 文檔

• 代碼js/html

缺點

應(yīng)用代碼需要改動，無法修改對象，需要一次性完整寫入

優(yōu)點

無限擴容

基于Ceph的對象存儲構(gòu)建實踐

什么是Ceph

加州大學(xué) Santa Cruz 分校的 Sage Weil(DreamHost 的聯(lián)合創(chuàng)始人)博士論文設(shè)計的新一代自由軟件分布式文件系統(tǒng)。軟件定義存儲(Software Defined Storage, SDS)。統(tǒng)一的存儲解決方案。 提供了三種存儲方式：塊存儲、文件存儲、對象存儲。Ceph的架構(gòu)如下：

圖片來源：Ceph官網(wǎng)

Ceph組件

Ceph Monitor(監(jiān)視器，簡稱Mon)

Mon通過保存一份集群狀態(tài)映射來的維護(hù)整個集群的健康狀態(tài)。它分別為每個組件維護(hù)映射信息。所有集群節(jié)點都向Mon節(jié)點匯報狀態(tài)信息

RADOS

(Reliable Autonomix Distributed Object Store)，是存儲集群的基礎(chǔ)。在Ceph中所有的數(shù)據(jù)都是以對象的形式存儲，RADOS就負(fù)責(zé)存這些數(shù)據(jù)，不考慮它們的類型。

Ceph對象存儲設(shè)備OSD

Ceph 分布式對象存儲系統(tǒng)的對象存儲守護(hù)進(jìn)程。它負(fù)責(zé)把對象存儲到本地文件系統(tǒng)，并使之通過網(wǎng)絡(luò)可訪問。

RADOS網(wǎng)關(guān)(RGW)

提供了兼容Amazon S3和OpenStack對象存儲API(Swift)的restful API接口。支持多租戶和OpenStack Keystone身份驗證。

MDS(Ceph元數(shù)據(jù)服務(wù)器)

為CephFS跟蹤文件層次結(jié)構(gòu)和存儲元數(shù)據(jù)。

librados

librados庫為PHP，Ruby，Java，Python，C和C++這些編程語言提供了方便地訪問RADOS接口的方式。

RBD(RADOS塊設(shè)備)

Ceph塊設(shè)備，原名是 RADOS 塊設(shè)備，提供可靠的分布式和高性能塊存儲磁盤給客戶端，將塊數(shù)據(jù)以順序條帶化的形式分散存儲在的多個 OSD 上，支持自動精簡配置、動態(tài)調(diào)整大小、完整和增量快照、寫實復(fù)制克隆等企業(yè)級特性，而且RBD服務(wù)已經(jīng)被封裝成了基于 librados 的一個原生接口。

CephFS(Ceph Filesystem)

Ceph  文件系統(tǒng)提供了一個使用Ceph存儲集群存儲用戶數(shù)據(jù)的與POSIX兼容的文件系統(tǒng)。和RBD、RGW一樣，基于librados封裝了原生接口。

Ceph的特點

• 高性能

  摒棄了傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址的方案，采用CRUSH算法，數(shù)據(jù)分布均衡，并行度高。

• 高可用性

  數(shù)據(jù)強一致性，多種故障場景自愈

• 高擴展性

  去中心化、靈活擴展

• 特性豐富

  支持三種存儲接口：塊存儲、對象存儲、文件存儲

  支持多種語言（Python、C++、Java、PHP、Ruby等）驅(qū)動，自定義接口

基于Ceph的對象存儲實踐

客戶端通過 4，7 層負(fù)載均衡，基于HTTP協(xié)議，將請求轉(zhuǎn)發(fā)至對象存儲網(wǎng)關(guān)（Rados GateWay）, 對象存儲網(wǎng)關(guān)通過Sockets與集群通信，至此，完成了整個數(shù)據(jù)的傳輸。

用戶認(rèn)證

1. 應(yīng)用在發(fā)送請求前，使用用戶私有秘鑰（secret key）、請求內(nèi)容等，采用與RGW網(wǎng)關(guān)約定好的算法計算出數(shù)字簽名后，將數(shù)字簽名以及用戶訪問秘鑰access_key封裝在請求中發(fā)送給RGW網(wǎng)關(guān)

2. RGW網(wǎng)關(guān)接受到請求后，使用用戶訪問秘鑰作為索引送RADOS集群中讀取用戶信息，并從用戶信息中獲取到用戶私有秘鑰。

3. 使用用戶私有秘鑰、請求內(nèi)容等，采用與應(yīng)用約定好的算法計算數(shù)字簽名。

4. 判斷RGW生成的數(shù)字簽名和請求的簽名是否匹配，如果匹配，則認(rèn)為請求是真實的，用戶認(rèn)證通過，如果匹配返回 S3 error: 403 (SignatureDoesNotMatch)

對象存儲IO路徑分析

應(yīng)用通過http協(xié)議將請求發(fā)送至對象存儲網(wǎng)關(guān)，網(wǎng)關(guān)收到 I/O 請求后，從http語義中解析出S3或Swift數(shù)據(jù)并進(jìn)行一系列檢查，檢查通過后，根據(jù)不同API操作請求執(zhí)行不同的數(shù)據(jù)處理邏輯，通過 librados 接口從 RADOS Cluster中 GET 或者 PUT 數(shù)據(jù)，完成整個I/O過程。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“如何構(gòu)建基于Ceph對象存儲”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

本文名稱：如何構(gòu)建基于Ceph對象存儲-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://jinyejixie.com/article36/jgppg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、網(wǎng)站制作、手機網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、微信小程序、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)