大家好，我是一哥，昨天分享一篇數(shù)倉面試的知識(shí)點(diǎn)《掌握這些數(shù)倉知識(shí)，再也不怕面試官!》，但是面試還缺少了一部分?jǐn)?shù)據(jù)管控的知識(shí)，今天補(bǔ)上~

成都創(chuàng)新互聯(lián)專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、丹徒網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5開發(fā)、商城網(wǎng)站制作、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為丹徒等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

01數(shù)據(jù)管控背景

數(shù)據(jù)管控是在做大數(shù)據(jù)平臺(tái)包括傳統(tǒng)BI都需要做的工作，數(shù)據(jù)從各個(gè)數(shù)據(jù)源過來，我們都要進(jìn)行數(shù)據(jù)質(zhì)量的管理，也就是我們常說的數(shù)據(jù)治理。那么在數(shù)據(jù)倉庫建設(shè)的時(shí)候如何進(jìn)行數(shù)據(jù)管控呢?

我經(jīng)歷過的項(xiàng)目主要采用以下管控手段：數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期、數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)四方面的管控。

02管控手段

一、數(shù)據(jù)質(zhì)量

不管是做數(shù)據(jù)倉庫建設(shè)還是做數(shù)據(jù)分析，一致和準(zhǔn)確的數(shù)據(jù)是數(shù)據(jù)模型與決策分析的基礎(chǔ)。在實(shí)際生產(chǎn)環(huán)境中，我們從不同的系統(tǒng)抽取數(shù)據(jù)到大數(shù)據(jù)平臺(tái)，那么我們就要提供一套數(shù)據(jù)監(jiān)控機(jī)制，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控。良好的、高質(zhì)量的數(shù)據(jù)可以有效降低系統(tǒng)建設(shè)成本。

二、數(shù)據(jù)標(biāo)準(zhǔn)

保證標(biāo)準(zhǔn)命名、編碼、業(yè)務(wù)解釋等內(nèi)容的唯一性。只有建立相應(yīng)的標(biāo)準(zhǔn)，同時(shí)加強(qiáng)業(yè)務(wù)的標(biāo)準(zhǔn)化工作，規(guī)范重點(diǎn)業(yè)務(wù)內(nèi)容，強(qiáng)化業(yè)務(wù)管理。并在實(shí)時(shí)過程中加強(qiáng)現(xiàn)有數(shù)據(jù)的交互性，支撐統(tǒng)一的業(yè)務(wù)管理，只用建立的數(shù)據(jù)標(biāo)準(zhǔn)，才能推動(dòng)主數(shù)據(jù)系統(tǒng)的建設(shè)，完成重點(diǎn)數(shù)據(jù)的統(tǒng)一管理，為后期數(shù)據(jù)模型完全共享打下堅(jiān)實(shí)的基礎(chǔ)。

同時(shí)在數(shù)據(jù)質(zhì)量監(jiān)控的同時(shí)，我們會(huì)不斷完善數(shù)據(jù)標(biāo)準(zhǔn)，以適應(yīng)企業(yè)內(nèi)部多變的系統(tǒng)環(huán)境，從而形成良性循環(huán)。

關(guān)于管控流程，概括三個(gè)字：查&管。

查，分為測試驗(yàn)證和上線審核。

測試驗(yàn)證：

a). 總量核對(duì)，核對(duì)上下兩步的數(shù)據(jù)總條數(shù)，沒有過濾條件的話應(yīng)該是一致的

b). 多維度統(tǒng)計(jì)，復(fù)雜的多維度指標(biāo)拆分成單維度SQL統(tǒng)計(jì)，對(duì)每個(gè)指標(biāo)分別進(jìn)行核查。

c). 多表關(guān)聯(lián)統(tǒng)計(jì)，拆分成中間表進(jìn)行核對(duì)每一步驟的指標(biāo)。

d). 明細(xì)到指標(biāo)統(tǒng)計(jì)，比如隨機(jī)找一臺(tái)車的明細(xì)和最后統(tǒng)計(jì)的指標(biāo)進(jìn)行核對(duì)。

e). 新老統(tǒng)計(jì)對(duì)比，比如有些指標(biāo)是遷移或者之前業(yè)務(wù)手工制作，可以開發(fā)后的新指標(biāo)同老指標(biāo)進(jìn)行對(duì)比。

上線審核：

a). 對(duì)查詢表的where后面的條件、join關(guān)聯(lián)字段、group by分組字段等重點(diǎn)檢查邏輯，和需求理解結(jié)合審核。

b). 根據(jù)上面的數(shù)倉規(guī)范檢查數(shù)據(jù)集命名、數(shù)據(jù)集字段命名、任務(wù)名稱進(jìn)行審核，是否按照數(shù)據(jù)倉庫建設(shè)規(guī)范中的業(yè)務(wù)域、維度、原子指標(biāo)、修飾類型、修飾詞、時(shí)間周期、派生指標(biāo)等標(biāo)準(zhǔn)進(jìn)行命名。

c). 代碼注釋審核，每一步處理需要有注釋該步驟的作用，每個(gè)指標(biāo)也要有注釋，where條件等也要添加注釋。

d). 重要任務(wù)是否開啟短信告警，任務(wù)啟動(dòng)時(shí)間等審核。

e). 任務(wù)上線的位置是否符合上線標(biāo)準(zhǔn)，比如上線的數(shù)據(jù)層級(jí)與業(yè)務(wù)層級(jí)等。

管，開發(fā)過程中，大家需要遵循一些流程規(guī)則，以確保指標(biāo)的定義，開發(fā)的準(zhǔn)確性。

a). 需求上線時(shí)候需要在知識(shí)庫中完成所開發(fā)需求邏輯說明

b). 復(fù)雜需求(比如項(xiàng)目指標(biāo))，需要團(tuán)隊(duì)至少兩人以上評(píng)審需求后開發(fā)。

c). 提交上線申請的同事需要備注上需求邏輯說明。

審核上線人員為“輪值”，審核上線人員需要review開發(fā)人員的代碼，需要和開發(fā)人員共同承擔(dān)代碼質(zhì)量

三、數(shù)據(jù)生命周期

隨著企業(yè)業(yè)務(wù)的增長，越來越多的數(shù)據(jù)匯入大數(shù)據(jù)平臺(tái)，同時(shí)在建設(shè)數(shù)據(jù)倉庫的時(shí)候，我們還進(jìn)行了數(shù)據(jù)分層管理，數(shù)據(jù)會(huì)存在多份共存情況，那么此時(shí)我們就要做數(shù)據(jù)生命周期管理，對(duì)不必須保存的數(shù)據(jù)，進(jìn)行冷數(shù)據(jù)管理?？刂茢?shù)據(jù)的生命周期，一方面可以減低成本、簡化管理，同時(shí)也為我們集群騰出了資源，提高了系統(tǒng)性能，盡可能滿足現(xiàn)有業(yè)務(wù)的高效運(yùn)行。另外，在做數(shù)據(jù)生命周期管理的同事要注意一些風(fēng)險(xiǎn)，比如法規(guī)，對(duì)于很多互聯(lián)網(wǎng)、銀行、電信、車聯(lián)網(wǎng)等企業(yè)，相關(guān)部門會(huì)提出原始數(shù)據(jù)必須保持多長時(shí)間的要求。在制定數(shù)據(jù)生命周期管理時(shí)，一定要注意!

可以參考前天分析的網(wǎng)易的技術(shù)經(jīng)驗(yàn)《數(shù)倉治理之?dāng)?shù)據(jù)任務(wù)重構(gòu)實(shí)踐》

四、元數(shù)據(jù)

元數(shù)據(jù)就是對(duì)一些業(yè)務(wù)術(shù)語、標(biāo)準(zhǔn)等的統(tǒng)一定義、管理。對(duì)各種數(shù)據(jù)流接口的統(tǒng)一管理。同時(shí)在構(gòu)建數(shù)據(jù)模型的時(shí)候，通過元數(shù)據(jù)我們可以進(jìn)行血緣分析等。

03總結(jié)

通過上面我們介紹的管控手段的幾個(gè)要點(diǎn)，那么在實(shí)施過程中是否能夠成功呢?大概率不會(huì)，因?yàn)閳F(tuán)隊(duì)總會(huì)有那么幾個(gè)人嫌規(guī)范太繁瑣，不按套路出牌，所以建立一些標(biāo)準(zhǔn)的基礎(chǔ)上，在實(shí)施過程中我們還有建立一些規(guī)章制度，來幫助我們的規(guī)劃落地，比如和員工績效掛鉤、或者制定一些流程管控、增加上線審核機(jī)制等，只有規(guī)范和流程相結(jié)合了，才能更好的進(jìn)行實(shí)施管控?cái)?shù)據(jù)，也只有管控好數(shù)據(jù)，才能更好的保證數(shù)據(jù)分析的成功。

網(wǎng)頁名稱：面試官：如何管控?cái)?shù)據(jù)？
文章網(wǎng)址：http://jinyejixie.com/article48/sdophp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、App開發(fā)、微信小程序、域名注冊、自適應(yīng)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)