這篇文章主要介紹“Cloudera數(shù)據(jù)加密概述及用法”，在日常操作中，相信很多人在Cloudera數(shù)據(jù)加密概述及用法問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Cloudera數(shù)據(jù)加密概述及用法”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

目前成都創(chuàng)新互聯(lián)公司已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、綿陽(yáng)服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、柳南網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

01

—

Cloudera數(shù)據(jù)加密概述

加密是使用數(shù)字密鑰對(duì)各種組件（例如文本，文件，數(shù)據(jù)庫(kù)，密碼，應(yīng)用程序或網(wǎng)絡(luò)數(shù)據(jù)包）進(jìn)行編碼的過程，因此只有適當(dāng)?shù)膶?shí)體（用戶，系統(tǒng)進(jìn)程等）才能進(jìn)行解碼（解密） ）項(xiàng)，然后查看，修改或添加到數(shù)據(jù)中。Cloudera提供了加密機(jī)制來保護(hù)持久保存在磁盤或其他存儲(chǔ)介質(zhì)上的數(shù)據(jù)（靜態(tài)數(shù)據(jù)或簡(jiǎn)單地稱為數(shù)據(jù)加密）以及在網(wǎng)絡(luò)上移動(dòng)時(shí)的數(shù)據(jù)（傳輸加密中的數(shù)據(jù)）。

在政府，衛(wèi)生，金融，教育和許多其他環(huán)境中，數(shù)據(jù)加密是強(qiáng)制性的。例如，《聯(lián)邦信息安全管理法案》（FISMA）規(guī)范了患者的隱私問題，而《支付卡行業(yè)數(shù)據(jù)安全標(biāo)準(zhǔn)》（PCI DSS）規(guī)范了信用卡處理器的信息安全性。這只是兩個(gè)例子。

盡管如此，使用案例中需要使用何種程度的隱私，機(jī)密性和數(shù)據(jù)完整性的Cloudera集群中包含的大量數(shù)據(jù)（使用許多不同的組件進(jìn)行部署）仍然必須支持。Cloudera支持并在本概述中討論的加密機(jī)制旨在實(shí)現(xiàn)這一目標(biāo)。

02

—

保護(hù)靜態(tài)數(shù)據(jù)

保護(hù)靜止數(shù)據(jù)通常意味著對(duì)存儲(chǔ)在磁盤上的數(shù)據(jù)進(jìn)行加密，并允許授權(quán)用戶和進(jìn)程（僅授權(quán)用戶和進(jìn)程）在手頭的應(yīng)用程序或任務(wù)需要時(shí)解密數(shù)據(jù)。對(duì)于靜態(tài)數(shù)據(jù)加密，必須分發(fā)和管理加密密鑰，應(yīng)定期旋轉(zhuǎn)或更改密鑰（以減少密鑰被泄露的風(fēng)險(xiǎn)），并且許多其他因素使該過程復(fù)雜化。

但是，僅加密數(shù)據(jù)可能不夠。例如，管理員和其他具有足夠特權(quán)的人可能有權(quán)訪問日志文件，審核數(shù)據(jù)或SQL查詢中的個(gè)人身份信息（PII）。根據(jù)特定的用例，在醫(yī)院或財(cái)務(wù)環(huán)境中，可能需要從所有此類文件中刪除PII，以確保對(duì)日志和查詢具有特權(quán)的用戶（其中可能包含敏感數(shù)據(jù)）仍然無法在查看數(shù)據(jù)時(shí)使用不應(yīng)該。

Cloudera提供了補(bǔ)充方法來加密靜態(tài)數(shù)據(jù)，并提供了屏蔽日志文件，審核數(shù)據(jù)和SQL查詢中的PII的機(jī)制。

可用的加密選項(xiàng)

Cloudera提供了多種機(jī)制來確保敏感數(shù)據(jù)的安全。CDH提供透明的HDFS加密，確保所有敏感數(shù)據(jù)在存儲(chǔ)到磁盤之前都已加密。通過將HDFS加密與Navigator Key Trustee的企業(yè)級(jí)加密密鑰管理結(jié)合使用，可以使大多數(shù)企業(yè)遵守法規(guī)。對(duì)于Cloudera Enterprise，可以通過Navigator Encrypt增強(qiáng)HDFS加密，以保護(hù)數(shù)據(jù)之外的元數(shù)據(jù)?？紤]到數(shù)據(jù)節(jié)點(diǎn)是并行加密的，使用這些解決方案的Cloudera集群照常運(yùn)行，并且對(duì)性能的影響非常低。隨著集群的增長(zhǎng)，加密也隨之增長(zhǎng)。

此外，此透明加密針對(duì)英特爾芯片組進(jìn)行了優(yōu)化，以實(shí)現(xiàn)高性能。英特爾芯片組包括AES-NI協(xié)處理器，該處理器提供特殊功能，可使加密工作負(fù)載運(yùn)行得非常快。Cloudera利用Intel最新的技術(shù)進(jìn)步來獲得更快的性能。

密鑰受托者KMS與密鑰受托者服務(wù)器和密鑰HSM結(jié)合使用，可為存儲(chǔ)的密鑰材料提供基于HSM的保護(hù)。密鑰受托者KMS在KMS上本地生成加密區(qū)域密鑰材料，然后使用HSM生成的密鑰對(duì)該密鑰材料進(jìn)行加密。相反，Navigator HSM KMS服務(wù)依賴于HSM來生成和存儲(chǔ)所有加密區(qū)域密鑰。使用Navigator HSM KMS時(shí)，加密區(qū)域密鑰材料起源于HSM，并且永遠(yuǎn)不會(huì)離開HSM。這樣可以實(shí)現(xiàn)最高級(jí)別的密鑰隔離，但是需要一些網(wǎng)絡(luò)開銷來進(jìn)行HSM的網(wǎng)絡(luò)調(diào)用，以進(jìn)行密鑰生成，加密和解密操作。對(duì)于大多數(shù)生產(chǎn)方案，密鑰受托人KMS仍然是建議的HDFS加密密鑰管理解決方案。

下圖顯示了使用示例部署：

• Cloudera透明HDFS加密可加密HDFS上存儲(chǔ)的數(shù)據(jù)

• Navigator Encrypt對(duì)與Cloudera Manager，Cloudera Navigator，Hive和HBase相關(guān)的所有其他數(shù)據(jù)（包括元數(shù)據(jù)，日志和溢出數(shù)據(jù)）進(jìn)行加密

• Navigator Key Trustee，用于進(jìn)行健壯，容錯(cuò)的密鑰管理

除了對(duì)Cloudera集群的數(shù)據(jù)層應(yīng)用加密之外，還可以在網(wǎng)絡(luò)層應(yīng)用加密，以加密集群節(jié)點(diǎn)之間的通信。

加密不會(huì)阻止對(duì)集群具有完全訪問權(quán)限的管理員查看敏感數(shù)據(jù)。要混淆包括PII在內(nèi)的敏感數(shù)據(jù)，可以配置集群以進(jìn)行數(shù)據(jù)編輯。

Cloudera集群的數(shù)據(jù)整理

編輯是一個(gè)使數(shù)據(jù)模糊的過程。它可以通過混淆個(gè)人身份信息（PII）來幫助組織遵守PCI（支付卡行業(yè)）和HIPAA之類的行業(yè)法規(guī)和標(biāo)準(zhǔn)，從而使其無法使用，除非工作需要此類訪問的人員才能使用。例如，HIPAA立法要求，除適當(dāng)?shù)尼t(yī)生（和患者）外，任何人都不能使用患者PII，并且不得使用任何患者的PII來確定個(gè)人身份或?qū)⑵渑c健康數(shù)據(jù)相關(guān)聯(lián)。通過將PII轉(zhuǎn)換為無意義的模式（例如，將美國(guó)的社會(huì)保險(xiǎn)號(hào)轉(zhuǎn)換為XXX-XX-XXXX 字符串。

數(shù)據(jù)編輯與Cloudera 加密技術(shù)分開工作，Cloudera 加密技術(shù)不會(huì)阻止對(duì)集群具有完全訪問權(quán)限的管理員查看敏感的用戶數(shù)據(jù)。它確保集群管理員，數(shù)據(jù)分析人員和其他人員不會(huì)看到不在其工作域內(nèi)的PII或其他敏感數(shù)據(jù)，并且同時(shí)也不會(huì)阻止具有適當(dāng)權(quán)限的用戶訪問他們擁有特權(quán)的數(shù)據(jù)。

03

—

保護(hù)動(dòng)態(tài)數(shù)據(jù)

對(duì)于傳輸中的數(shù)據(jù)，實(shí)施數(shù)據(jù)保護(hù)和加密相對(duì)容易。有線加密內(nèi)置在Hadoop堆棧中（例如SSL），并且通常不需要外部系統(tǒng)。使用會(huì)話級(jí)一次性密鑰通過會(huì)話握手以及立即傳輸和后續(xù)傳輸來構(gòu)建此傳輸中數(shù)據(jù)加密。因此，由于密鑰的臨時(shí)性，傳輸中的數(shù)據(jù)避免了許多與靜態(tài)數(shù)據(jù)相關(guān)的密鑰管理問題，但它確實(shí)依賴于正確的身份驗(yàn)證；證書泄露是身份驗(yàn)證的問題，但可能會(huì)破壞有線加密。顧名思義，傳輸中的數(shù)據(jù)涵蓋了數(shù)據(jù)的安全傳輸和中間存儲(chǔ)。這適用于所有過程間通信，在同一節(jié)點(diǎn)內(nèi)或節(jié)點(diǎn)之間。有三種主要的溝通渠道：

• HDFS透明加密：使用HDFS透明加密加密的數(shù)據(jù)是端到端的保護(hù)。寫入和寫入HDFS的任何數(shù)據(jù)只能由客戶端加密或解密。HDFS無權(quán)訪問未加密的數(shù)據(jù)或加密密鑰。這支持靜態(tài)加密和傳輸中加密。

• 數(shù)據(jù)傳輸：第一個(gè)通道是數(shù)據(jù)傳輸，包括將數(shù)據(jù)塊讀取和寫入HDFS。Hadoop在其原生的基于TCP / IP的直接傳輸（稱為）周圍使用了啟用SASL的包裝器DataTransportProtocol，以保護(hù)DIGEST-MD5信封內(nèi)的I / O流。此過程還使用安全的HadoopRPC（請(qǐng)參閱遠(yuǎn)程過程調(diào)用）進(jìn)行密鑰交換。但是，HttpFS REST接口不提供客戶端與HDFS之間的安全通信，僅提供使用SPNEGO進(jìn)行的安全身份驗(yàn)證。

• 為了在MapReduce作業(yè)的混洗階段（即在作業(yè)的Map和Reduce部分之間移動(dòng)中間結(jié)果）期間在DataNode之間進(jìn)行數(shù)據(jù)傳輸，Hadoop使用傳輸層安全性（TLS）通過HTTP Secure（HTTPS）保護(hù)了通信通道）。

• 遠(yuǎn)程過程調(diào)用：第二個(gè)通道是對(duì)Hadoop集群中各種系統(tǒng)和框架的遠(yuǎn)程過程（RPC）的系統(tǒng)調(diào)用。與數(shù)據(jù)傳輸活動(dòng)一樣，Hadoop具有自己的RPC本地協(xié)議，稱為HadoopRPC，用于Hadoop API客戶端通信，Hadoop內(nèi)部服務(wù)通信以及監(jiān)視，心跳以及其他非數(shù)據(jù)，非用戶活動(dòng)。HadoopRPC支持SASL，以實(shí)現(xiàn)安全傳輸，并且默認(rèn)設(shè)置為Kerberos和DIGEST-MD5，具體取決于通信類型和安全設(shè)置。

• 用戶界面：第三個(gè)渠道包括Hadoop集群中各種基于Web的用戶界面。對(duì)于安全運(yùn)輸，解決方案很簡(jiǎn)單；這些接口使用HTTPS。

TLS / SSL證書概述

可以使用三種不同的方式對(duì)證書進(jìn)行簽名：

類型	使用說明
公共CA簽名的證書	推薦。使用由受信任的公共CA簽名的證書可以簡(jiǎn)化部署，因?yàn)槟J(rèn)的Java客戶端已經(jīng)信任大多數(shù)公共CA。從受信任的著名（公共）CA（例如Symantec和Comodo）中獲取證書
內(nèi)部CA簽署的證書	如果您的組織有自己的證書，請(qǐng)從組織的內(nèi)部CA獲取證書。使用內(nèi)部CA可以降低成本（盡管集群配置可能需要為內(nèi)部CA簽名的證書建立信任鏈，具體取決于您的IT基礎(chǔ)結(jié)構(gòu)）。
自簽名證書	不建議用于生產(chǎn)部署。使用自簽名證書要求將每個(gè)客戶端配置為信任特定證書（除了生成和分發(fā)證書之外）。但是，自簽名證書適用于非生產(chǎn)（測(cè)試或概念驗(yàn)證）部署。

CDH組件的TLS / SSL加密

Cloudera建議在集群上啟用SSL之類的加密之前，先使用Kerberos身份驗(yàn)證保護(hù)集群。如果為尚未配置Kerberos身份驗(yàn)證的集群?jiǎn)⒂肧SL，將顯示警告。

Hadoop服務(wù)在SSL的使用方面有所不同，如下所示：

• HDFS，MapReduce和YARN守護(hù)程序既充當(dāng)SSL服務(wù)器又充當(dāng)客戶端。

• HBase守護(hù)程序僅充當(dāng)SSL服務(wù)器。

• Oozie守護(hù)程序僅充當(dāng)SSL服務(wù)器。

• Hue充當(dāng)上述所有內(nèi)容的SSL客戶端。

啟動(dòng)時(shí)，充當(dāng)SSL服務(wù)器的守護(hù)程序?qū)⒓虞d密鑰庫(kù)。當(dāng)客戶端連接到SSL服務(wù)器守護(hù)程序時(shí)，服務(wù)器會(huì)將在啟動(dòng)時(shí)加載的證書傳輸?shù)娇蛻舳?，然后客戶端使用其信任?kù)來驗(yàn)證服務(wù)器的證書。

有關(guān)為CDH服務(wù)設(shè)置SSL / TLS的信息，請(qǐng)參閱適用的組件指南。

04

—

Hadoop項(xiàng)目中的數(shù)據(jù)保護(hù)

下表列出了CDH組件和Cloudera Manager可以利用的各種加密功能。

Project	Encryption for Data-in-Transit	Encryption for Data-at-Rest (HDFS Encryption + Navigator Encrypt + Navigator Key Trustee)
HDFS	SASL (RPC), SASL (DataTransferProtocol)	Yes
MapReduce	SASL (RPC), HTTPS (encrypted shuffle)	Yes
YARN	SASL (RPC)	Yes
Accumulo	Partial - Only for RPCs and Web UI (Not directly configurable in Cloudera Manager)	Yes
Flume	TLS (Avro RPC)	Yes
HBase	SASL - For web interfaces, inter-component replication, the HBase shell and the REST, Thrift 1 and Thrift 2 interfaces	Yes
HiveServer2	SASL (Thrift), SASL (JDBC), TLS (JDBC, ODBC)	Yes
Hue	TLS	Yes
Impala	TLS or SASL between impalad and clients, but not between daemons
Oozie	TLS	Yes
Pig	N/A	Yes
Search	TLS	Yes
Sentry	SASL (RPC)	Yes
Spark	None	Yes
Sqoop	Partial - Depends on the RDBMS database driver in use	Yes
Sqoop2	Partial - You can encrypt the JDBC connection depending on the RDBMS database driver	Yes
ZooKeeper	SASL (RPC)	No
Cloudera Manager	TLS - Does not include monitoring	Yes
Cloudera Navigator	TLS - Also see Cloudera Manager	Yes
Backup and Disaster Recovery	TLS - Also see Cloudera Manager	Yes

05

—

加密機(jī)制概述

靜態(tài)數(shù)據(jù)和傳輸加密中的數(shù)據(jù)在集群的不同技術(shù)層起作用：

層次	描述
應(yīng)用	HDFS透明加密由HDFS客戶端軟件應(yīng)用，可讓您加密HDFS中包含的特定文件夾。為了安全地存儲(chǔ)所需的加密密鑰，Cloudera建議將Cloudera Navigator密鑰受托服務(wù)器與HDFS加密結(jié)合使用。 還可以對(duì)CDH組件（包括Impala，MapReduce，YARN或HBase）在HDFS外部臨時(shí)存儲(chǔ)在本地文件系統(tǒng)上的數(shù)據(jù)進(jìn)行加密。
操作系統(tǒng)	在Linux OS文件系統(tǒng)層，可以將加密應(yīng)用于整個(gè)卷。例如，Cloudera Navigator Encrypt可以加密HDFS內(nèi)部和外部的數(shù)據(jù)，例如臨時(shí)/溢出文件，配置文件以及存儲(chǔ)與CDH集群關(guān)聯(lián)的元數(shù)據(jù)的數(shù)據(jù)庫(kù)。Cloudera Navigator Encrypt作為L(zhǎng)inux內(nèi)核模塊運(yùn)行，是操作系統(tǒng)的一部分。Navigator Encrypt需要Cloudera Navigator的許可證，并且必須配置為使用Navigator Key Trustee Server。
網(wǎng)絡(luò)	客戶端進(jìn)程和服務(wù)器進(jìn)程（HTTP，RPC或TCP / IP服務(wù)）之間的網(wǎng)絡(luò)通信可以使用行業(yè)標(biāo)準(zhǔn)的TLS / SSL進(jìn)行加密。

來源：https://docs.cloudera.com/cloudera-manager/7.0.3/security-overview/topics/cm-security-encryption-overview.html

到此，關(guān)于“Cloudera數(shù)據(jù)加密概述及用法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

名稱欄目：Cloudera數(shù)據(jù)加密概述及用法
文章源于：http://jinyejixie.com/article40/pgecho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、網(wǎng)站內(nèi)鏈、網(wǎng)站維護(hù)、微信公眾號(hào)、定制網(wǎng)站、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)