前言

幾乎任何規(guī)模的公司，每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)，收集業(yè)務(wù)日志數(shù)據(jù)，供離線和在線的分析系統(tǒng)使用。處理這些日志需要特定的日志系統(tǒng)，一般而言，這些系統(tǒng)需要具有高可用性、高可靠性和可擴(kuò)展性。

在華安等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需策劃,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),營銷型網(wǎng)站建設(shè),外貿(mào)網(wǎng)站制作,華安網(wǎng)站建設(shè)費(fèi)用合理。

Flume是一個(gè)分布式、可靠的和高可用的海量日志采集，聚合和傳輸?shù)南到y(tǒng)。支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume 提供對(duì)數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制)的能力。Flume 初始的發(fā)行版本目前被統(tǒng)稱為Flume OG(original generation) ，屬于Cloudera.但隨著Flume功能的擴(kuò)展，F(xiàn)lume OG代碼工程臃腫，核心組件設(shè)計(jì)不合理、核心配置不標(biāo)準(zhǔn)等缺點(diǎn)暴露出來，尤其是在Flume OG的最后一個(gè)發(fā)行版本0.94.0中，日志傳輸不穩(wěn)定的現(xiàn)象尤為嚴(yán)重。為了解決這些問題，2011 年10月22日,Cloudera完成了Flume-728，對(duì)Flume進(jìn)行了里程碑式的改動(dòng)：重構(gòu)核心組件、核心配置以及代碼架構(gòu)，重構(gòu)后的版本統(tǒng)稱為Flume NG (next generation) ;改動(dòng)的另一原因是將Flume納入Apache旗下，Cloudera Flume改名為Apache Flume。

Flume構(gòu)建高可用、可擴(kuò)展的海量日志采集系統(tǒng)

第1章給出了Apache Hadoop. Apache HBase的基本介紹。本章只是為了向讀者介紹Hadoop. HBase 和它們內(nèi)部的一些細(xì)節(jié)。 如果讀者已經(jīng)熟悉Hadoop和HBase,這章可以跳過。

第2章介紹了Flume主要的組件和配置，也解釋了如何部署Flume以從數(shù)據(jù)生成服務(wù)器推送數(shù)據(jù)到存儲(chǔ)和索引系統(tǒng)。

第3章、第4章、第5章和第6章解釋了Flume內(nèi)置的不同種類的Source，Channel 和Sink以及編寫自定義插件以定制Flume接收、修改、格式化和寫數(shù)據(jù)的方式。

第7章討論從你的應(yīng)用程序發(fā)送數(shù)據(jù)到Flume Agent的不同方式。本章主要是為了寫推送數(shù)據(jù)到FlumeAgent的應(yīng)用程序的開發(fā)人員。

第8章討論如何設(shè)計(jì)、部署和監(jiān)控Flume部署。

限于平臺(tái)篇幅原因，同時(shí)也為了大家更好的閱讀，小編把Flume相關(guān)的資料都打包整理好了，有感興趣的程序員朋友可以幫忙轉(zhuǎn)發(fā)文章后，關(guān)注私信回復(fù)【學(xué)習(xí)】來獲取

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享文章：大廠架構(gòu)師傾心之作：Flume構(gòu)建高可用、可擴(kuò)展的海量日志采-創(chuàng)新互聯(lián)
網(wǎng)頁鏈接：http://jinyejixie.com/article30/dhddpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、品牌網(wǎng)站制作、面包屑導(dǎo)航、網(wǎng)站設(shè)計(jì)公司、靜態(tài)網(wǎng)站、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)