這篇文章將為大家詳細(xì)講解有關(guān) 大數(shù)據(jù)安全規(guī)范的示例分析，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營銷推廣、網(wǎng)站重做改版、武強(qiáng)網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5開發(fā)、成都商城網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為武強(qiáng)等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

大數(shù)據(jù)安全規(guī)范

一、概述

大數(shù)據(jù)的安全體系分為五個(gè)層次：周邊安全、數(shù)據(jù)安全、訪問安全(認(rèn)證 - authentication和授權(quán) - authorization)、訪問行為可見、錯(cuò)誤處理和異常管理。下面依次說明：

1.周邊安全技術(shù)即傳統(tǒng)意義上提到的網(wǎng)絡(luò)安全技術(shù)，如防火墻等;

2.數(shù)據(jù)安全包括對數(shù)據(jù)的加解密,又可細(xì)分為存儲加密和傳輸加密;還包括對數(shù)據(jù)的脫敏;

3.訪問安全主要是對用戶的認(rèn)證和授權(quán)兩個(gè)方面：

用戶認(rèn)證(Authentication)
即是對用戶身份進(jìn)行核對， 確認(rèn)用戶即是其聲明的身份， 這里包括用戶和服務(wù)的認(rèn)證

用戶授權(quán)(Authorization)

即是權(quán)限控制，對特定資源， 特定訪問用戶進(jìn)行授權(quán)或拒絕訪問。用戶授權(quán)是建立再用戶認(rèn)證的基礎(chǔ)上，沒有可靠的用戶認(rèn)證談不上用戶授權(quán)。

訪問安全還包括數(shù)據(jù)驗(yàn)證(data validation)

1> type.   int string等
2> format. phone email等
3> length.
4> range.
5> precense or absence.
6> match in lookup tables.
7> other bussiness rules 

4.訪問行為可見多指記錄用戶對系統(tǒng)的訪問行為(審計(jì)和日志)：如查看哪個(gè)文件;運(yùn)行了哪些查詢;訪問行為監(jiān)控一方面為了進(jìn)行實(shí)時(shí)報(bào)警,迅速處置危險(xiǎn)的訪問行為;另一方面為了事后調(diào)查取證，從長期的數(shù)據(jù)訪問行為中分析定位特定的目的。

 5.錯(cuò)誤處理和異常管理

這個(gè)主要是針對錯(cuò)誤發(fā)現(xiàn)，一般做法是建立并逐步完善的監(jiān)控系統(tǒng)，對可能發(fā)生或已發(fā)生的情況進(jìn)行預(yù)警或者告警。還包括異常攻擊事件監(jiān)測，目前發(fā)現(xiàn)的針對攻擊的辦法有:

1>攻擊鏈分析，按照威脅檢測的時(shí)間進(jìn)行分析，描述攻擊鏈條

2>相同類型的攻擊事件進(jìn)行合并統(tǒng)計(jì)

3>異常流量學(xué)習(xí)正常訪問流量，流量異常時(shí)進(jìn)行告警

在這五個(gè)層次中，第三層(訪問安全)同業(yè)務(wù)的關(guān)系最為直接：應(yīng)用程序的多租戶,分權(quán)限訪問控制都直接依賴這一層的技術(shù)實(shí)現(xiàn),那么我們的重點(diǎn)也將放在這一層上。眾所周知的是, hadoop本身提供的認(rèn)證(主要是kerberos)不易維護(hù)，授權(quán)(主要是ACL)又很粗粒度，為此我們通過對兩個(gè)重量級公司(Cloudera和Hortonworks)開源的關(guān)于安全的服務(wù)進(jìn)行對比(參見博文)后決定使用Hortonworks開源的Ranger。 Ranger為企業(yè)級hadoop生態(tài)服務(wù)提供了許多安全套件，通過集中化權(quán)限管理為用戶/組提供文件、文件夾、數(shù)據(jù)庫、表及列的認(rèn)證、授權(quán)控制，還可以提供審計(jì)(通過solr進(jìn)行查詢)，新推出的RangerKMS還支持對hdfs數(shù)據(jù)加密等

二、大數(shù)據(jù)平臺安全規(guī)范之訪問安全

2.1用戶身份認(rèn)證

通過Ranger提供的用戶/組同步功能實(shí)現(xiàn)認(rèn)證，Ranger可以整合Unix或者LDAP進(jìn)行用戶認(rèn)證管理

2.2 用戶權(quán)限管理

2.2.1 賬號管理

帳號分為運(yùn)維帳號和開發(fā)用戶帳號。

運(yùn)維帳號按服務(wù)拆為多個(gè)賬號，不同的賬號操作不同的服務(wù),具體如下：

服務(wù)	用戶
Flume	flume
HDFS	hdfs
MapReduce	mapred
HBase	hbase
Hive	hive
Kafka	kafka
Oozie	oozie
Ranger	ranger
Spark	spark
Sqoop	sqoop
Storm	storm
YARN	yarn
ZooKeeper	zookeeper
Ambari Metrics	ams

開發(fā)用戶賬號，每個(gè)用戶一個(gè)帳號，按團(tuán)隊(duì)分組，不同的賬號或組操作不同的文件或表，如果需要操作別人的數(shù)據(jù)，需要運(yùn)維進(jìn)行授權(quán)

2.2.2 目錄和文件規(guī)范

目錄	規(guī)則
/source	主要存儲原始采集的日志，存儲規(guī)則如下: /source/{業(yè)務(wù)名稱}/{日期},其中：     業(yè)務(wù)名稱: 比如發(fā)送記錄等     日期：    格式統(tǒng)一為yyyyMMdd
/data	存儲的規(guī)范和source一樣， 數(shù)據(jù)倉庫之前的文件臨時(shí)目錄 清理時(shí)間待定
/workspace	工作空間，存儲規(guī)則如下:/workspace/{團(tuán)隊(duì)名稱}/{業(yè)務(wù)名稱|產(chǎn)品名稱}  對方
/user	用戶空間，存儲用戶私有數(shù)據(jù)，僅用戶自己可以訪問。按照開發(fā)人員 自己的習(xí)慣組織存儲文件,用于存儲用戶的測試數(shù)據(jù), 清理時(shí)間待定 當(dāng)員工離職賬戶注銷，空間存儲回收。
/user/hive/warehouse	存儲hive倉庫，按照團(tuán)隊(duì)創(chuàng)建庫；公共日志按照業(yè)務(wù)名進(jìn)行創(chuàng)建， 每個(gè)團(tuán)隊(duì)可以創(chuàng)建一個(gè)屬于團(tuán)隊(duì)的hive庫
/temp	用來存儲一些臨時(shí)文件   每月清理一次

2.2.3 用戶權(quán)限管理

權(quán)限管理有2種方案，ACL方案（粗粒度）和 ranger方案（細(xì)粒度），基于我們的數(shù)據(jù)需求，先考慮使用ranger提供的細(xì)粒度權(quán)限控制

使用Ranger UI界面進(jìn)行權(quán)限的管理，目前各個(gè)服務(wù)提供的權(quán)限如下：

服務(wù)	服務(wù)詳情	權(quán)限
HDFS	hdfs path	Read、Write、Execute
HBase	table、column family、column	Read、Write、Create、Admin
Hive	database、table|function、column	Select、Update、Create、Drop、Alter、Index、Lock、All
YARN	queue	Submit-job、Admin-queue
Kafka	topic	Publish、Consume、Configure、Describe、Kafka Admin

團(tuán)隊(duì)權(quán)限分配

 

團(tuán)隊(duì)	團(tuán)隊(duì)成員組	服務(wù)	權(quán)限
dp(數(shù)據(jù)平臺)	dp	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
Kafka	Publish、Consume、Configure、Describe
dm(數(shù)據(jù)挖掘)	dm	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
da(數(shù)據(jù)應(yīng)用)	da	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
op(運(yùn)維)	hadoop管理員	HDFS、HBase、Hive、YARN、Kafka	All

個(gè)人帳號：在線上操作要精確到個(gè)人

申請權(quán)限流程：

 每個(gè)團(tuán)隊(duì)的leader向管理員提出申請，經(jīng)過評審?fù)ㄟ^后方可授予相應(yīng)的權(quán)限

關(guān)于 大數(shù)據(jù)安全規(guī)范的示例分析就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

本文題目：大數(shù)據(jù)安全規(guī)范的示例分析
網(wǎng)頁路徑：http://jinyejixie.com/article48/pgeehp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、云服務(wù)器、網(wǎng)站內(nèi)鏈、域名注冊、網(wǎng)站設(shè)計(jì)公司、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)