小編給大家分享一下數(shù)據(jù)倉(cāng)庫(kù)建模與ETL的實(shí)踐技巧有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

在和田縣等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需求定制開發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),全網(wǎng)整合營(yíng)銷推廣,成都外貿(mào)網(wǎng)站建設(shè)公司,和田縣網(wǎng)站建設(shè)費(fèi)用合理。

一、Data倉(cāng)庫(kù)的架構(gòu)

Data倉(cāng)庫(kù)(Data Warehouse DW)是為了便于多維分析和多角度展現(xiàn)而將Data按特定的模式進(jìn)行存儲(chǔ)所建立起來的關(guān)系型Datcbase，它的Data基于OLTP源Systam。Data倉(cāng)庫(kù)中的Data是細(xì)節(jié)的、集成的、面向主題的，以O(shè)LAPSystam的分析需求為目的。

Data倉(cāng)庫(kù)的架構(gòu)模型包括了星型架構(gòu)與雪花型架構(gòu)兩種模式。星型架構(gòu)的中間為事實(shí)表，四周為維度表，類似星星;而相比較而言，雪花型架構(gòu)的中間為事實(shí)表，兩邊的維度表可以再有其關(guān)聯(lián)子表，從而表達(dá)了清晰的維度層次關(guān)系。

從OLAPSystam的分析需求和ETL的處理效率兩方面來考慮：星型結(jié)構(gòu)聚合快，分析效率高;而雪花型結(jié)構(gòu)明確，便于與OLTPSystam交互。因此，在實(shí)際項(xiàng)目中，我們將綜合運(yùn)用星型架構(gòu)與雪花型架構(gòu)來設(shè)計(jì)Data倉(cāng)庫(kù)。

那么，下面我們就來看一看，構(gòu)建企業(yè)級(jí)Data倉(cāng)庫(kù)的流程。

二、構(gòu)建企業(yè)級(jí)Data倉(cāng)庫(kù)五步法

(一)、確定主題

即確定Data分析或前端展現(xiàn)的主題。例如：我們希望分析某年某月某一地區(qū)的啤酒銷售情況，這就是一個(gè)主題。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)value型Data(量度)之間的關(guān)系，確定主題時(shí)要綜合考慮。

我們可以形象的將一個(gè)主題想象為一顆星星：統(tǒng)計(jì)數(shù)value型Data(量度)存在于星星中間的事實(shí)表;分析角度(維度)是星星的各個(gè)角;我們將通過維度的組合，來考察量度。那么，“某年某月某一地區(qū)的啤酒銷售情況”這樣一個(gè)主題，就要求我們通過時(shí)間和地區(qū)兩個(gè)維度的組合，來考察銷售情況這個(gè)量度。從而，不同的主題來源于Data倉(cāng)庫(kù)中的不同子集，我們可以稱之為Data集市。Data集市體現(xiàn)了Data倉(cāng)庫(kù)某一方面的信息，多個(gè)Data集市構(gòu)成了Data倉(cāng)庫(kù)。

(二)、確定量度

在確定了主題以后，我們將考慮要分析的技術(shù)指標(biāo)，諸如年銷售額之類。它們一般為數(shù)value型Data。我們或者將該Data匯總，或者將該Data取次數(shù)、獨(dú)立次數(shù)或取最大最小value等，這樣的Data稱為量度。

量度是要統(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)等的設(shè)計(jì)和計(jì)算。

(三)、確定事實(shí)Data粒度

在確定了量度之后，我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況?？紤]到量度的聚合程度不同，我們將采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。

例如：假設(shè)目前的Data最小記錄到秒，即Datcbase中記錄了每一秒的交易額。那么，如果我們可以確認(rèn)，在將來的分析需求中，時(shí)間只需要精確到天就可以的話，我們就可以在ETL處理過程中，按天來匯總Data，此時(shí)，Data倉(cāng)庫(kù)中量度的粒度就是“天”;反過來，如果我們不能確認(rèn)將來的分析需求在時(shí)間上是否需要精確到秒，那么，我們就需要遵循“最小粒度原則”，在Data倉(cāng)庫(kù)的事實(shí)表中保留每一秒的Data，以便日后對(duì)“秒”進(jìn)行分析。

在采用“最小粒度原則”的同時(shí)，我們不必?fù)?dān)心海量Data所帶來的匯總分析效率問題，因?yàn)樵诤罄m(xù)建立多維分析模型(CUBE)的時(shí)候，我們會(huì)對(duì)Data提前進(jìn)行匯總，從而保障產(chǎn)生分析結(jié)果的效率。關(guān)于建立多維分析模型(CUBE)的相關(guān)問題，我們將在下期欄目中予以闡述。

(四)、確定維度

維度是指分析的各個(gè)角度。例如我們希望按照時(shí)間，或者按照地區(qū)，或者按照產(chǎn)品進(jìn)行分析，那么這里的時(shí)間、地區(qū)、產(chǎn)品就是相應(yīng)的維度?；诓煌木S度，我們可以看到各量度的匯總情況，也可以基于所有的維度進(jìn)行交叉分析。

這里我們首先要確定維度的層次(HierarChy)和級(jí)別(Level。我們?cè)跁r(shí)間維度上，按照“年-季度-月”形成了一個(gè)層次，其中“年”、“季度”、“月”成為了這個(gè)層次的3個(gè)級(jí)別;同理，當(dāng)我們建立產(chǎn)品維度時(shí)，我們可以將“產(chǎn)品大類-產(chǎn)品子類-產(chǎn)品”劃為一個(gè)層次，其中包含“產(chǎn)品大類”、“產(chǎn)品子類”、“產(chǎn)品”三個(gè)級(jí)別。

那么，我們分析中所用到的這些維度，在Data倉(cāng)庫(kù)中的存在形式是怎樣的呢?

我們可以將3個(gè)級(jí)別設(shè)置成一張Data表中的3個(gè)字段，比如時(shí)間維度;我們也可以使用三張表，分別保存產(chǎn)品大類、產(chǎn)品子類、產(chǎn)品三部分Data，比如產(chǎn)品維度。

另外，value得一提的是，我們?cè)诮⒕S度表時(shí)要充分使用代理鍵。代理鍵是數(shù)value型的ID號(hào)碼(例如每張表的第一個(gè)字段)，它唯一標(biāo)識(shí)了每一維度成員。更重要的是，在聚合時(shí)，數(shù)value型字段的匹配和比較，JOIN效率高，便于聚合。同時(shí)，代理鍵對(duì)緩慢變化維度有著重要的意義，在原Data主鍵相同的情況下，它起到了對(duì)新Data與歷史Data的標(biāo)識(shí)作用。

在此，我們不妨談一談維度表隨時(shí)間變化的問題，這是我們經(jīng)常會(huì)遇到的情況，我們稱其為緩慢變化維度。

比如我們?cè)黾恿诵碌漠a(chǎn)品，或者產(chǎn)品的ID號(hào)碼修改了，或者產(chǎn)品增加了一個(gè)新的屬性，此時(shí)，維度表就會(huì)被修改或者增加新的記錄行。這樣，我們?cè)贓TL的過程中，就要考慮到緩慢變化維度的處理。對(duì)于緩慢變化維度，有三種情況：

1、緩慢變化維度第一種TYPE：

歷史Data需要修改。這種情況下，我們使用UPDATEmethod來修改維度表中的Data。例如：產(chǎn)品的ID號(hào)碼為123，后來發(fā)現(xiàn)ID號(hào)碼錯(cuò)了，需要改寫成456，那么，我們就在ETL處理時(shí)，直接修改維度表中原來的ID號(hào)碼為456。

2、緩慢變化維度第二種TYPE：

歷史Data保留，新增Data也要保留。這時(shí)，要將原Data更新，將新Data插入，我們使用UPDATE / INSERT。比如：某一員工2005年在A部門，2006年時(shí)他調(diào)到了B部門。那么在統(tǒng)計(jì)2005年的Data時(shí)就應(yīng)該將該員工定位到A部門;而在統(tǒng)計(jì)2006年Data時(shí)就應(yīng)該定位到B部門，然后再有新的Data插入時(shí)，將按照新部門(B部門)進(jìn)行處理，這樣我們的做法是將該維度成員列表加入標(biāo)識(shí)列，將歷史的Data標(biāo)識(shí)為“過期”，將目前的Data標(biāo)識(shí)為“當(dāng)前的”。另一種method是將該維度打上時(shí)間戳，即將歷史Data生效的時(shí)間段作為它的一個(gè)屬性，在與原始表匹配生成事實(shí)表時(shí)將按照時(shí)間段進(jìn)行關(guān)聯(lián)，這種method的好處是該維度成員生效時(shí)間明確。

3、緩慢變化維度第三種TYPE：

新增Data維度成員改變了屬性。例如：某一維度成員新加入了一列，該列在歷史Data中不能基于它瀏覽，而在目前Data和將來Data中可以按照它瀏覽，那么此時(shí)我們需要改變維度表屬性，即加入新的字段列。那么，我們將使用存儲(chǔ)過程或程式生成新的維度屬性，在后續(xù)的Data中將基于新的屬性進(jìn)行查看。

(五)、創(chuàng)建事實(shí)表

在確定好事實(shí)Data和維度后，我們將考慮加載事實(shí)表。

在公司的大量Data堆積如山時(shí)，我們想看看里面究竟是什么，結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄，一筆筆交易記錄… 那么這些記錄是我們將要建立的事實(shí)表的原始Data，即關(guān)于某一主題的事實(shí)記錄表。

我們的做法是將原始表與維度表進(jìn)行關(guān)聯(lián)，生成事實(shí)表。注意在關(guān)聯(lián)時(shí)有為空的Data時(shí)(Data源臟)，需要使用外連接，連接后我們將各維度的代理鍵取出放于事實(shí)表中，事實(shí)表除了各維度代理鍵外，還有各量度Data，這將來自原始表，事實(shí)表中將存在維度代理鍵和各量度，而不應(yīng)該存在描述性信息，即符合“瘦高原則”，即要求事實(shí)表Data條數(shù)盡量多(粒度最小)，而描述性信息盡量少。

如果考慮到擴(kuò)展，可以將事實(shí)表加一唯一標(biāo)識(shí)列，以為了以后擴(kuò)展將該事實(shí)作為雪花型維度，不過不需要時(shí)一般建議不用這樣做。

事實(shí)Data表是Data倉(cāng)庫(kù)的核心，需要精心維護(hù)，在JOIN后將得到事實(shí)Data表，一般記錄條數(shù)都比較大，我們需要為其設(shè)置復(fù)合主鍵和索引，以呈現(xiàn)Data的完整性和基于Data倉(cāng)庫(kù)的查詢性能優(yōu)化。事實(shí)Data表與維度表一起放于Data倉(cāng)庫(kù)中，如果前端需要連接Data倉(cāng)庫(kù)進(jìn)行查詢，我們還需要建立一些相關(guān)的中間匯總表或物化視，以方便查詢。

　三、什么是ETL

在Data倉(cāng)庫(kù)的構(gòu)建中，ETL貫穿于項(xiàng)目始終，它是整個(gè)Data倉(cāng)庫(kù)的生命線，包括了Data清洗、整合、convert、加載等各個(gè)過程。如果說Data倉(cāng)庫(kù)是一座大廈，那么ETL就是大廈的根基。ETL抽取整合Data的好壞直接影響到最終的結(jié)果展現(xiàn)。所以ETL在整個(gè)Data倉(cāng)庫(kù)項(xiàng)目中起著十分關(guān)鍵的作用，必須擺到十分重要的位置。

ETL是Data抽取(ExtraCt)、convert(Transform)、加載(Load )的簡(jiǎn)寫，它是指：將OLTPSystam中的Data抽取出來，并將不同Data源的Data進(jìn)行convert和整合，得出一致性的Data，然后加載到Data倉(cāng)庫(kù)中。

那么，在這一convert過程中，我們就完成了對(duì)Data格式的更正、對(duì)Data字段的合并、以及新增指標(biāo)的計(jì)算三項(xiàng)操作。類似地，我們也可以根據(jù)其他需求，完善Data倉(cāng)庫(kù)中的Data。

簡(jiǎn)而言之，通過ETL，我們可以基于源Systam中的Data來生成Data倉(cāng)庫(kù)。ETL為我們搭建了OLTPSystam和OLAPSystam之間的橋梁。

　四、項(xiàng)目實(shí)踐技巧

(一)、準(zhǔn)備區(qū)的運(yùn)用

在構(gòu)建Data倉(cāng)庫(kù)時(shí)，如果Data源位于一臺(tái)服務(wù)器上，Data倉(cāng)庫(kù)在另一臺(tái)服務(wù)器端，考慮到Data源Server端訪問頻繁，并且Data量大，需要不斷更新，所以可以建立準(zhǔn)備區(qū)Datcbase。先將Data抽取到準(zhǔn)備區(qū)中，然后基于準(zhǔn)備區(qū)中的Data進(jìn)行處理，這樣處理的好處是防止了在原OLTPSystam中頻繁訪問，進(jìn)行Data計(jì)算或排序等操作。

例如我們可以按照天將Data抽取到準(zhǔn)備區(qū)中，基于Data準(zhǔn)備區(qū)，我們將進(jìn)行Data的convert、整合、將不同Data源的Data進(jìn)行一致性處理。Data準(zhǔn)備區(qū)中將存在原始抽取表、convert中間表和臨時(shí)表以及ETL日志表等。

(二)、時(shí)間戳的運(yùn)用

時(shí)間維度對(duì)于某一事實(shí)主題來說十分重要，因?yàn)椴煌臅r(shí)間有不同的統(tǒng)計(jì)Data信息，那么按照時(shí)間記錄的信息將發(fā)揮很重要的作用。在ETL中，時(shí)間戳有其特殊的作用，在上面提到的緩慢變化維度中，我們可以使用時(shí)間戳標(biāo)識(shí)維度成員;在記錄Datcbase和Data倉(cāng)庫(kù)的操作時(shí)，我們也將使用時(shí)間戳標(biāo)識(shí)信息。例如：在進(jìn)行Data抽取時(shí)，我們將按照時(shí)間戳對(duì)OLTPSystam中的Data進(jìn)行抽取，比如在午夜0：00取前一天的Data，我們將按照OLTPSystam中的時(shí)間戳取GETDATE到GETDATE減一天，這樣得到前一天Data。

(三)、日志表的運(yùn)用

在對(duì)Data進(jìn)行處理時(shí)，難免會(huì)發(fā)生Data處理錯(cuò)誤，產(chǎn)生出錯(cuò)信息，那么我們?nèi)绾潍@得出錯(cuò)信息并及時(shí)修正呢? method是我們使用一張或多張Log日志表，將出錯(cuò)信息記錄下來，在日志表中我們將記錄每次抽取的條數(shù)、處理成功的條數(shù)、處理失敗的條數(shù)、處理失敗的Data、處理時(shí)間等等。這樣，當(dāng)Data發(fā)生錯(cuò)誤時(shí)，我們很容易發(fā)現(xiàn)問題所在，然后對(duì)出錯(cuò)的Data進(jìn)行修正或重新處理。

(四)、使用調(diào)度

在對(duì)Data倉(cāng)庫(kù)進(jìn)行增量更新時(shí)必須使用調(diào)度，即對(duì)事實(shí)Data表進(jìn)行增量更新處理。在使用調(diào)度前要考慮到事實(shí)Data量，確定需要多長(zhǎng)時(shí)間更新一次。比如希望按天進(jìn)行查看，那么我們最好按天進(jìn)行抽取，如果Data量不大，可以按照月或半年對(duì)Data進(jìn)行更新。如果有緩慢變化維度情況，調(diào)度時(shí)需要考慮到維度表更新情況，在更新事實(shí)Data表之前要先更新維度表。

調(diào)度是Data倉(cāng)庫(kù)的關(guān)鍵環(huán)節(jié)，要考慮縝密。在ETL的流程搭建好后，要定期對(duì)其運(yùn)行，所以調(diào)度是運(yùn)行ETL流程的關(guān)鍵步驟。每一次調(diào)度除了寫入Log日志表的Data處理信息外，還要使用發(fā)送Email或報(bào)警服務(wù)等，這樣也方便的技術(shù)人員對(duì)ETL流程的把握，增強(qiáng)了安全性和Data處理的準(zhǔn)確性。

　五、總結(jié)

構(gòu)建企業(yè)級(jí)Data倉(cāng)庫(kù)需要簡(jiǎn)單的五步，掌握了這五步的method，我們可以構(gòu)建一個(gè)強(qiáng)大的Data倉(cāng)庫(kù)。然而，每一步都有很深的內(nèi)容需要研究與挖掘，尤其在實(shí)際項(xiàng)目中，我們要綜合考慮。例如：如果Data源的臟Data很多，在搭建Data倉(cāng)庫(kù)之前我們首先要進(jìn)行Data清洗，以剔除掉不需要的信息和臟Data。

ETL是OLTPSystam和OLAPSystam之間的橋梁，是Data從源Systam流入Data倉(cāng)庫(kù)的通道。在Data倉(cāng)庫(kù)的項(xiàng)目實(shí)施中，它關(guān)系到整個(gè)項(xiàng)目的Data質(zhì)量，所以馬虎不得，必須將其擺到重要位置，將Data倉(cāng)庫(kù)這一大廈的根基筑牢。

以上是“數(shù)據(jù)倉(cāng)庫(kù)建模與ETL的實(shí)踐技巧有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前文章：數(shù)據(jù)倉(cāng)庫(kù)建模與ETL的實(shí)踐技巧有哪些
網(wǎng)站鏈接：http://jinyejixie.com/article12/jpocgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、企業(yè)網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站內(nèi)鏈、全網(wǎng)營(yíng)銷推廣、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)