數(shù)據(jù) 倉庫是一個databas旨在實(shí)現(xiàn)商業(yè)智能活動:旨在幫助用戶了解和增強(qiáng)其組織的績效。它專為查詢和分析而不是事務(wù)處理而設(shè)計(jì),通常包含從事務(wù)數(shù)據(jù)派生的歷史數(shù)據(jù),但可以包含來自其他來源的數(shù)據(jù)。數(shù)據(jù)倉庫將分析工作負(fù)載與事務(wù)工作負(fù)載分開,并使組織能夠合并來自多個源的數(shù)據(jù)。這有助于:
維護(hù)歷史記錄
分析數(shù)據(jù)以更好地了解業(yè)務(wù)并改善業(yè)務(wù)
除了關(guān)系數(shù)據(jù)庫之外,數(shù)據(jù)倉庫環(huán)境還可以包括提取,傳輸,轉(zhuǎn)換和加載(ETL)解決方案,統(tǒng)計(jì)分析,報(bào)告,數(shù)據(jù)挖掘功能,客戶端分析工具以及管理數(shù)據(jù)收集過程的其他應(yīng)用程序。 ,將其轉(zhuǎn)化為有用的,可操作的信息,并將其交付給業(yè)務(wù)用戶。
為了實(shí)現(xiàn)增強(qiáng)商業(yè)智能的目標(biāo),數(shù)據(jù)倉庫使用從多個源收集的數(shù)據(jù)。源數(shù)據(jù)可能來自內(nèi)部開發(fā)的系統(tǒng),購買的應(yīng)用程序,第三方數(shù)據(jù)聚合器和其他來源。它可能涉及交易,生產(chǎn),營銷,人力資源等。在當(dāng)今的大數(shù)據(jù)世界中,數(shù)據(jù)可能是網(wǎng)站上數(shù)十億次點(diǎn)擊,或者來自內(nèi)置于復(fù)雜機(jī)器中的傳感器的大量數(shù)據(jù)流。
數(shù)據(jù)倉庫與在線事務(wù)處理(OLTP)系統(tǒng)不同。使用數(shù)據(jù)倉庫,您可以將分析工作負(fù)載與事務(wù)工 因此,數(shù)據(jù)倉庫是非常面向讀取的系統(tǒng)。與寫入和更新相比,它們具有更高的數(shù)據(jù)讀取量。這樣可以實(shí)現(xiàn)更好的分析性能,并避免影響您的事務(wù)系統(tǒng)??梢詢?yōu)化數(shù)據(jù)倉庫系統(tǒng),以整合來自多個來源的數(shù)據(jù),以實(shí)現(xiàn)關(guān)鍵目標(biāo):它成為您組織的“單一事實(shí)來源”。擁有所有用戶可以關(guān)注的一致數(shù)據(jù)源是非常有價值的; 它可以防止許多爭議并提高決策效率。
數(shù)據(jù)倉庫通常存儲數(shù)月或數(shù)年的數(shù)據(jù)以支持歷史分析。數(shù)據(jù)倉庫中的數(shù)據(jù)通常通過來自多個數(shù)據(jù)源的提取,轉(zhuǎn)換和加載(ETL)過程加載?,F(xiàn)代數(shù)據(jù)倉庫正朝著提取,加載,轉(zhuǎn)換(ELT)架構(gòu)發(fā)展,其中所有或大多數(shù)數(shù)據(jù)轉(zhuǎn)換都在托管數(shù)據(jù)倉庫的數(shù)據(jù)庫上執(zhí)行。重要的是要注意,定義ETL過程是數(shù)據(jù)倉庫設(shè)計(jì)工作的很大一部分。同樣,ETL操作的速度和可靠性是數(shù)據(jù)倉庫啟動和運(yùn)行后的基礎(chǔ)。
數(shù)據(jù)倉庫的用戶執(zhí)行通常與時間相關(guān)的數(shù)據(jù)分析。例如,包括去年的銷售數(shù)據(jù),庫存分析以及按產(chǎn)品和客戶分類的利潤。但是時間關(guān)注與否,用戶希望他們認(rèn)為合適的數(shù)據(jù)“切片和切塊”,而設(shè)計(jì)良好的數(shù)據(jù)倉庫將足夠靈活以滿足這些需求。用戶有時需要高度聚合的數(shù)據(jù),有時他們需要深入了解詳細(xì)信息。更復(fù)雜的分析包括趨勢分析和數(shù)據(jù)挖掘,它們使用現(xiàn)有數(shù)據(jù)來預(yù)測趨勢或預(yù)測未來。數(shù)據(jù)倉庫充當(dāng)中間件商業(yè)智能環(huán)境使用的底層引擎,為最終用戶提供報(bào)告,儀表板和其他界面。
雖然上面的討論集中在術(shù)語“數(shù)據(jù)倉庫”上,但還有兩個重要的術(shù)語需要提及。這些是數(shù)據(jù)集市和操作數(shù)據(jù)存儲(ODS)。
數(shù)據(jù)集市與數(shù)據(jù)倉庫具有相同的作用,但其范圍有限。它可以服務(wù)于某個特定部門或業(yè)務(wù)線。數(shù)據(jù)集市與數(shù)據(jù)倉庫的優(yōu)勢在于,由于其有限的覆蓋范圍,它可以更快地創(chuàng)建。但是,數(shù)據(jù)集市也會產(chǎn)生不一致的問題。在數(shù)據(jù)集市中保持?jǐn)?shù)據(jù)和計(jì)算定義一致需要嚴(yán)格的紀(jì)律。這個問題已被廣泛認(rèn)可,因此數(shù)據(jù)集市有兩種風(fēng)格。獨(dú)立數(shù)據(jù)集市是直接從源數(shù)據(jù)饋送的數(shù)據(jù)集市。他們可以變成信息不一致的島嶼。從屬數(shù)據(jù)集市從現(xiàn)有數(shù)據(jù)倉庫提供。依賴數(shù)據(jù)集市可以避免不一致的問題,但它們要求已經(jīng)存在企業(yè)級數(shù)據(jù)倉庫。
存在操作數(shù)據(jù)存儲以支持日常操作。ODS數(shù)據(jù)被清理和驗(yàn)證,但它在歷史上并不深刻:它可能只是當(dāng)天的數(shù)據(jù)。ODS不是支持?jǐn)?shù)據(jù)倉庫可以處理的歷史豐富的查詢,而是為數(shù)據(jù)倉庫提供了訪問最新數(shù)據(jù)的位置,這些數(shù)據(jù)尚未加載到數(shù)據(jù)倉庫中。ODS還可以用作加載數(shù)據(jù)倉庫的源。隨著數(shù)據(jù)倉庫加載技術(shù)變得更加先進(jìn),數(shù)據(jù)倉庫可能不再需要ODS作為加載數(shù)據(jù)的源。相反,恒定的涓流進(jìn)給系統(tǒng)可以近乎實(shí)時地加載數(shù)據(jù)倉庫。
引入數(shù)據(jù)倉庫的常用方法是參考William Inmon提出的數(shù)據(jù)倉庫的特征:
主題導(dǎo)向
集成
非易失
時間變化
主題導(dǎo)向
數(shù)據(jù)倉庫旨在幫助您分析數(shù)據(jù)。例如,要了解有關(guān)公司銷售數(shù)據(jù)的更多信息,您可以構(gòu)建專注于銷售的數(shù)據(jù)倉庫。使用此數(shù)據(jù)倉庫,您可以回答諸如“去年誰是我們這個項(xiàng)目的最佳客戶?”之類的問題。或“明年誰有可能成為我們最好的客戶?” 這種按主題定義數(shù)據(jù)倉庫的能力,在這種情況下是銷售,使數(shù)據(jù)倉庫面向主題。
集成
整合與學(xué)科定位密切相關(guān)。數(shù)據(jù)倉庫必須將來自不同來源的數(shù)據(jù)放入一致的格式。他們必須解決諸如命名沖突和計(jì)量單位之間的不一致之類的問題。當(dāng)他們實(shí)現(xiàn)這一目標(biāo)時,他們被認(rèn)為是整合的。
非易失
非易失性意味著, 一旦進(jìn)入數(shù)據(jù)倉庫,數(shù)據(jù)就不應(yīng)該改變。這是合乎邏輯的,因?yàn)閿?shù)據(jù)倉庫的目的是使您能夠分析發(fā)生的情況。
時間變化
數(shù)據(jù)倉庫專注于隨時間的變化是術(shù)語時變的意思。為了發(fā)現(xiàn)趨勢并識別業(yè)務(wù)中隱藏的模式和關(guān)系,分析師需要大量數(shù)據(jù)。這與在線事務(wù)處理(OLTP)系統(tǒng)形成鮮明對比,后者的性能要求要求將歷史數(shù)據(jù)移動到存檔。
1.1.1數(shù)據(jù)倉庫的主要特征
凱數(shù)據(jù)倉庫的特征如下:
數(shù)據(jù)的結(jié)構(gòu)簡化了訪問和高速查詢性能。
最終用戶是時間敏感的,并且渴望思考速度的響應(yīng)時間。
使用大量歷史數(shù)據(jù)。
查詢通常會檢索大量數(shù)據(jù),可能是數(shù)千行。
預(yù)定義和即席查詢都很常見。
數(shù)據(jù)加載涉及多個源和轉(zhuǎn)換。
通常,具有高數(shù)據(jù)吞吐量的快速查詢性能是成功數(shù)據(jù)倉庫的關(guān)鍵。
1.2對比OLTP和數(shù)據(jù)倉庫環(huán)境
OLTP系統(tǒng)和數(shù)據(jù)倉庫之間存在重要差異。系統(tǒng)類型之間的一個主要區(qū)別是數(shù)據(jù)倉庫不僅僅是第三范式(3NF),這是OLTP環(huán)境中常見的一種數(shù)據(jù)規(guī)范化。
數(shù)據(jù)倉庫和OLTP系統(tǒng)有著非常不同的要求。以下是典型數(shù)據(jù)倉庫和OLTP系統(tǒng)之間差異的一些示例:
工作量
數(shù)據(jù)倉庫旨在適應(yīng)即席查詢和數(shù)據(jù)分析。您可能不會提前知道數(shù)據(jù)倉庫的工作負(fù)載,因此應(yīng)優(yōu)化數(shù)據(jù)倉庫以便在各種可能的查詢和分析操作中良好運(yùn)行。
OLTP系統(tǒng)僅支持預(yù)定義的操作。您的應(yīng)用程序可能經(jīng)過專門調(diào)整或設(shè)計(jì)為僅支持這些操作。
數(shù)據(jù)修改
ETL過程(每晚或每周運(yùn)行)使用批量數(shù)據(jù)修改技術(shù)定期更新數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的最終用戶不會直接更新數(shù)據(jù)倉庫,除非使用分析工具(如數(shù)據(jù)挖掘)來預(yù)測相關(guān)概率,將客戶分配到細(xì)分市場并開發(fā)客戶檔案。
在OLTP系統(tǒng)中,最終用戶會定期向數(shù)據(jù)庫發(fā)出單獨(dú)的數(shù)據(jù)修改語句。OLTP數(shù)據(jù)庫始終是最新的,并反映每個業(yè)務(wù)事務(wù)的當(dāng)前狀態(tài)。
架構(gòu)設(shè)計(jì)
數(shù)據(jù)倉庫通常使用部分非規(guī)范化模式來優(yōu)化查詢和分析性能。
OLTP系統(tǒng)通常使用完全規(guī)范化的模式來優(yōu)化更新/插入/刪除性能,并保證數(shù)據(jù)的一致性。
典型的操作
典型的數(shù)據(jù)倉庫查詢掃描數(shù)千或數(shù)百萬行。例如,“查找上個月所有客戶的總銷售額”。
典型的OLTP操作只訪問少數(shù)記錄。例如,“檢索此客戶的當(dāng)前訂單”。
歷史數(shù)據(jù)
數(shù)據(jù)倉庫通常存儲數(shù)月或數(shù)年的數(shù)據(jù)。這是為了支持歷史分析和報(bào)告。
OLTP系統(tǒng)通常只存儲數(shù)周或數(shù)月的數(shù)據(jù)。OLTP系統(tǒng)僅根據(jù)需要存儲歷史數(shù)據(jù),以成功滿足當(dāng)前事務(wù)的要求。
1.3通用數(shù)據(jù)倉庫任務(wù)
作為一個O.racle數(shù)據(jù)倉庫管理員或設(shè)計(jì)人員,您可以期望參與以下任務(wù):
配置Oracle數(shù)據(jù)庫以用作數(shù)據(jù)倉庫
設(shè)計(jì)數(shù)據(jù)倉庫
將數(shù)據(jù)庫和數(shù)據(jù)倉庫軟件升級到新版本
管理模式對象,例如表,索引和物化視圖
管理用戶和安全性
開發(fā)用于提取,轉(zhuǎn)換和加載(ETL)過程的例程
根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)創(chuàng)建報(bào)告
備份數(shù)據(jù)倉庫并在必要時執(zhí)行恢復(fù)
監(jiān)控?cái)?shù)據(jù)倉庫的性能并根據(jù)需要采取預(yù)防或糾正措施
在中小型數(shù)據(jù)倉庫環(huán)境中,您可能是執(zhí)行這些任務(wù)的唯一人員。在大型企業(yè)環(huán)境中,作業(yè)通常分為幾個DBA和設(shè)計(jì)人員,每個人都有自己的專長,例如數(shù)據(jù)庫安全性或數(shù)據(jù)庫調(diào)優(yōu)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
當(dāng)前標(biāo)題:1.1什么是數(shù)據(jù)倉庫-創(chuàng)新互聯(lián)
本文來源:http://jinyejixie.com/article18/coesdp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、動態(tài)網(wǎng)站、網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、關(guān)鍵詞優(yōu)化、ChatGPT
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容