大概在 2005 年前后，Hadoop 誕生后，標(biāo)志著人類(lèi)正式進(jìn)入大數(shù)據(jù)時(shí)代。

創(chuàng)新互聯(lián)建站從2013年創(chuàng)立，先為柘城等服務(wù)建站，柘城等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢(xún)服務(wù)。為柘城企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

其實(shí)，" 大數(shù)據(jù) " 概念第一次被提出，可以追溯到 1998 年，一家美國(guó)高性能計(jì)算公司的科學(xué)家，在一次國(guó)際會(huì)議報(bào)告中，用 "Big Data" ( 大數(shù)據(jù) ) 來(lái)描述數(shù)據(jù)量增長(zhǎng)帶來(lái)的挑戰(zhàn)。

到了 2013 年，開(kāi)始有越來(lái)越多的企業(yè)看到大數(shù)據(jù)的價(jià)值，發(fā)現(xiàn)大數(shù)據(jù)能夠?yàn)槠髽I(yè)業(yè)務(wù)賦能，通過(guò)對(duì)海量數(shù)據(jù)量的有效存儲(chǔ)、管理和分析，可以獲得更實(shí)時(shí)的市場(chǎng)洞察力。并且，人們還發(fā)現(xiàn)，大數(shù)據(jù)不是一個(gè)單一的技術(shù)，而是一系列數(shù)據(jù)管理技術(shù)的集合體，它對(duì)整個(gè)社會(huì)及人類(lèi)帶來(lái)的影響，將有別于以往任何技術(shù)變革。

那么，十幾年時(shí)間過(guò)去了，今天的大數(shù)據(jù)發(fā)展到何種狀態(tài)？我們需要做些什么，才能讓大數(shù)據(jù)應(yīng)用變得更加成熟？

從各種應(yīng)用分析和調(diào)查來(lái)看，雖然企業(yè)的數(shù)據(jù)量呈爆發(fā)趨勢(shì)增長(zhǎng)，也更重視信息的來(lái)源和使用價(jià)值，但在實(shí)際的商業(yè)價(jià)值推動(dòng)上，并沒(méi)有帶來(lái)顯著成果。雖然大數(shù)據(jù)概念炒得很火熱，但應(yīng)用上仍停留在如何將正確的信息在正確的時(shí)間發(fā)送給正確的人。

數(shù)據(jù)倉(cāng)庫(kù) vs 數(shù)據(jù)湖 vs 數(shù)據(jù)管理架構(gòu)

為了收集、獲取海量數(shù)據(jù)，各種數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)如雨后春筍般誕生，包括數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)管理架構(gòu)等，開(kāi)始加快走向企業(yè)應(yīng)用場(chǎng)景中。

只是，當(dāng)企業(yè)的解決方案以及平臺(tái)架構(gòu)開(kāi)始增多，業(yè)務(wù)的復(fù)雜性也隨之增加，企業(yè)需要一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)管理架構(gòu)，去整合所有的數(shù)據(jù)以及多樣的應(yīng)用工具，包括能實(shí)現(xiàn)跨環(huán)境以及混合應(yīng)用的管理。以往集中式架構(gòu)，已經(jīng)不能滿足企業(yè)的業(yè)務(wù)需求了。或者說(shuō)，企業(yè)需要更強(qiáng)大的數(shù)據(jù)分析能力，能對(duì)不同的數(shù)據(jù)源進(jìn)行訪問(wèn)。這也是以 Data Fabric 為核心的數(shù)據(jù)管理架構(gòu)，變得越來(lái)越流行的最根本原因。

理論上講，企業(yè)需要一個(gè)核心數(shù)據(jù)庫(kù)，能確保所有的數(shù)據(jù)都是最新、易管理，并且是干凈數(shù)據(jù)；但之前的數(shù)據(jù)架構(gòu)模式不可能實(shí)現(xiàn)，而 Data Fabric 則能幫助企業(yè)實(shí)現(xiàn)不同數(shù)據(jù)的管理，并且能把各種數(shù)據(jù)之間的關(guān)系關(guān)聯(lián)起來(lái)，而不是將所有的數(shù)據(jù)傾倒在一個(gè)數(shù)據(jù)湖中。

所以，在數(shù)據(jù)的整個(gè)治理過(guò)程中，所有相關(guān)的應(yīng)用都很重要。比如：我們可以通過(guò)數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)高性能、可重復(fù)的分析；而數(shù)據(jù)湖可以存儲(chǔ)用于開(kāi)發(fā)和測(cè)試的數(shù)據(jù)；Data Mesh 這種基于領(lǐng)域驅(qū)動(dòng)和自服務(wù)的數(shù)據(jù)架構(gòu)設(shè)計(jì)模式，可以用來(lái)管理分布式數(shù)據(jù)，因?yàn)樵摲?wù)本身借鑒了微服務(wù)和 Service Mesh 分布式架構(gòu)思想。提到 Data Mesh，有人可能要問(wèn) Data Mesh 和 Data Fabric 是什么關(guān)系？其實(shí)，Data Mesh 和 Data Fabric 在概念上都差不多，都是一種新型的數(shù)據(jù)管理架構(gòu)，都致力于讓數(shù)據(jù)互聯(lián)互通。

一站式大數(shù)據(jù)平臺(tái)構(gòu)建

當(dāng)企業(yè)業(yè)務(wù)上升到一定量，構(gòu)建大數(shù)據(jù)平臺(tái)成為必須品。問(wèn)題是，大數(shù)據(jù)平臺(tái)如何構(gòu)建？不同企業(yè)有不同選擇！

有專(zhuān)家建議，最好采用兩種策略構(gòu)建企業(yè)大數(shù)據(jù)平臺(tái)，即一個(gè)用于生產(chǎn)，另一個(gè)用于分析。但筆者認(rèn)為，基于一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)構(gòu)建大數(shù)據(jù)平臺(tái)，更有利于數(shù)據(jù)管理。如果每個(gè)業(yè)務(wù)部門(mén)都建自己的平臺(tái)，需要支持多個(gè)數(shù)據(jù)庫(kù)，還得需要一個(gè) ETL 平臺(tái)完成數(shù)據(jù)之間的轉(zhuǎn)換。這時(shí)，數(shù)據(jù)的真實(shí)性、實(shí)時(shí)性都會(huì)出現(xiàn)挑戰(zhàn)。構(gòu)建大數(shù)據(jù)平臺(tái)，最終的目標(biāo)是為了整合數(shù)據(jù)，讓所有的數(shù)據(jù)實(shí)現(xiàn)可視化管理，并且無(wú)論數(shù)據(jù)在企業(yè)內(nèi)部還是云端，都能實(shí)現(xiàn)統(tǒng)一管理。多一個(gè)數(shù)據(jù)平臺(tái)，就意味著企業(yè)在進(jìn)行數(shù)據(jù)整合時(shí)，會(huì)增加額外的成本，并且容易出現(xiàn)數(shù)據(jù)安全隱患。

當(dāng)然，構(gòu)建一個(gè)能覆蓋所有環(huán)境的大數(shù)據(jù)平臺(tái)，也不是一件容易的事。大多數(shù)時(shí)候，一個(gè)供應(yīng)商的解決方案也沒(méi)那么全面，比如：有的提供了查詢(xún)功能，但治理方面差了一些；有的雖然解決了大數(shù)據(jù)的規(guī)?；幚恚笃诘臄?shù)據(jù)遷移成為一大挑戰(zhàn)。所以，企業(yè)擁有多個(gè)企業(yè)提供的數(shù)據(jù)管理解決方案，可能是一種常態(tài)。

如果企業(yè)選型選對(duì)，基于標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)來(lái)打造打造大數(shù)據(jù)平臺(tái)，那意味企業(yè)擁有了先天的一站式大數(shù)據(jù)平臺(tái)管理能力，后期可以通過(guò)各種工具和手段進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化管理。

比如：基于 Data Fabric，企業(yè)從設(shè)計(jì)之初開(kāi)始，就擁有了一個(gè)可靈活擴(kuò)展、多次復(fù)用和持續(xù)優(yōu)化的數(shù)據(jù)管道，技術(shù)開(kāi)發(fā)人員可以根據(jù)服務(wù)和語(yǔ)義，支持復(fù)雜環(huán)境部署，通過(guò)資源的靈活調(diào)度，交付各種應(yīng)用。

本文標(biāo)題：大數(shù)據(jù)的未來(lái)何去何從？
文章分享：http://jinyejixie.com/article26/soedcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站收錄、手機(jī)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、網(wǎng)站制作、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)