這期內(nèi)容當中小編將會給大家?guī)碛嘘PGithub 1.9K Star的數(shù)據(jù)治理框架Amundsen如何理解，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯(lián)的客戶來自各行各業(yè)，為了共同目標，我們在工作上密切配合，從創(chuàng)業(yè)型小企業(yè)到企事業(yè)單位，感謝他們對我們的要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。專業(yè)領域包括網(wǎng)站設計、做網(wǎng)站、電商網(wǎng)站開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)。

Amundsen的使命，整理有關數(shù)據(jù)的所有信息，并使其具有普遍適用性。

這是Amundsen官網(wǎng)的一句話，對于元數(shù)據(jù)的管理工作，復雜且繁瑣?？捎玫墓ぞ吆芏嗟饔星铮瑪?shù)據(jù)血緣做的較好的應該是Apache Atlas，而數(shù)據(jù)可視化做的較好的應該是Apache Superset。業(yè)界一直需要一個可以整合這些功能，讓數(shù)據(jù)治理更加的簡單便捷，而這正是Amundsen的使命。

類似于Atlas (Apache)，Datahub (LinkedIn)。Amundsen主要在于提高數(shù)據(jù)分析師，數(shù)據(jù)科學家和數(shù)據(jù)工程師的工作效率。它可以通過為數(shù)據(jù)資源建立索引，并通過一定的機制來支持在頁面上進行排名搜索?？梢詫⑵湟暈樗阉鞴δ?，但搜索的是元數(shù)據(jù)。該項目以挪威探險家Roald Amundsen（第一個發(fā)現(xiàn)南極的人）的名字命名。

Amundsen由LF AI＆Data基金會維護。LF AI＆Data是Linux Foundation的保護基金會，支持人工智能，機器學習，深度學習和數(shù)據(jù)方面的開源創(chuàng)新。

目前Amundsen在github有1.9kStar，還沒有Releases的版本，項目正處于蒸蒸日上的上升期。

架構

下圖顯示了Amundsen的總體架構。

可見，Hive，Presto等數(shù)據(jù)源通過Databuilder ingestion框架獲取元數(shù)據(jù)，寫入Elasticsearch和Neo4j，通過搜索服務與元數(shù)據(jù)服務提供給前端。

主要模塊如下：

前端服務

作為用戶交互的web頁面。

這是基于Flask的Web應用程序，頁面是React構建的。

搜索服務

搜索服務采用Elasticsearch的搜索功能（或者Apache Atlas），并提供一個RESTful API服務。

元數(shù)據(jù)服務

元數(shù)據(jù)服務目前使用的Neo4j的圖數(shù)據(jù)庫進行交互。

功能展示

Amundsen提供了搜索，推薦，表描述，數(shù)據(jù)預覽在內(nèi)的非常多的功能，數(shù)據(jù)血緣功能正在研發(fā)中。

以上是部分功能展示：

登陸頁面：Amundsen的登陸頁面

搜索預覽：查看搜索結果

表的詳細頁面：Hive 等表的可視化

列詳細信息：主要是一些列的統(tǒng)計信息

數(shù)據(jù)預覽頁面：表數(shù)據(jù)預覽的可視化，可以與Apache Superset或其他數(shù)據(jù)可視化工具集成。

集成

Amundsen支持的數(shù)據(jù)源非常多。

Apache Druid，Apache Hive，CSV，Oracle，

MySQL，Delta Lake等等。

Amundsen還可以連接到任何提供dbapi或sql_alchemy接口的數(shù)據(jù)庫。

同時Amundsen還支持和一些儀表盤的集成，比如

Redash，Tableau。

ETL工具的集成，Apache Airflow。

BI可視化工具，Apache Superset。

上述就是小編為大家分享的Github 1.9K Star的數(shù)據(jù)治理框架Amundsen如何理解了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當前名稱：Github1.9KStar的數(shù)據(jù)治理框架Amundsen如何理解
鏈接地址：http://jinyejixie.com/article6/ggidog.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、、虛擬主機、商城網(wǎng)站、全網(wǎng)營銷推廣、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)