這篇文章將為大家詳細(xì)講解有關(guān)怎么理解Flink1.10中的時間機(jī)制，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

站在用戶的角度思考問題，與客戶深入溝通，找到普寧網(wǎng)站設(shè)計與普寧網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計制作、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋普寧地區(qū)。

一、概述

   這里我們介紹下Flink的另外一個核心概念“Event Time機(jī)制”。

二、Flink中的三種時間機(jī)制

    Flink在流處理程序中支持三種時間的概念，分別是EventTime、ProcessingTime、IngestionTime，F(xiàn)link流式處理中，絕大部分的業(yè)務(wù)都會使用EventTime，一般只在EventTime無法使用時，考慮其他時間屬性下面分別介紹下。

1.EventTime 事件時間

    EventTime是事件發(fā)生的時間，在進(jìn)行Flink流處理程序之前，這個時間就已經(jīng)能包含在了事件中，并且可以從每個記錄中提取事件時間戳。

    在EventTime中，時間的進(jìn)展取決于數(shù)據(jù)，而不是任何墻上的時鐘。EventTime程序必須指定如何生成事件EventTime Watermarks，這是EventTime進(jìn)展的信號機(jī)制。這種Watermarks機(jī)制將在下面的小節(jié)中進(jìn)行描述。

    假設(shè)所有數(shù)據(jù)都已到達(dá)，事件時間操作將按照預(yù)期的方式運(yùn)行，即使在處理無序或延遲的事件或重新處理歷史數(shù)據(jù)時，也會產(chǎn)生正確和一致的結(jié)果。例如，每小時事件時間窗口將包含所有記錄，這些記錄攜帶屬于該小時的事件時間戳，而與它們到達(dá)的順序無關(guān)，也與它們被處理的時間無關(guān)。

2.ProcessingTime 處理時間

    ProcessingTime是指執(zhí)行相應(yīng)操作的機(jī)器的系統(tǒng)時間，ProcessingTime是Flink默認(rèn)的時間概念，如需使用其他時間類型需要單獨(dú)設(shè)置。

    當(dāng)流程序在處理時間上運(yùn)行時，所有基于時間的操作(如時間窗口)將使用運(yùn)行各個operator的機(jī)器的系統(tǒng)時鐘。每小時處理時間窗口將包括在系統(tǒng)時鐘指示完整小時之間到達(dá)特定operator的所有記錄。例如，如果一個應(yīng)用程序在上午9:15開始運(yùn)行，那么第一個每小時處理時間窗口將包括上午9:15到10:00之間處理的事件，下一個窗口將包括上午10:00到11:00之間處理的事件，依此類推。

3.IngestionTime 攝入時間

    IngestionTime是事件進(jìn)入Flink的時間。在source operator中，每個記錄以時間戳的形式獲取源的當(dāng)前時間，基于時間的操作(如時間窗口)引用該時間戳。

  IngestionTime概念上位于EventTime和ProcessingTime之間。與ProcessingTime相比，它稍微昂貴一些，但是提供了更可預(yù)測的結(jié)果。由于IngestionTime使用穩(wěn)定的時間戳(在源處分配一次)，對記錄的不同窗口操作將引用相同的時間戳，而在ProcessingTime中，每個窗口操作人員可以將記錄分配到不同的窗口(基于本地系統(tǒng)時鐘和任何傳輸延遲)。

    與ProcessingTime相比，IngestionTime程序不能處理任何無序事件或延遲數(shù)據(jù)，但程序不必指定如何生成Watermarks，因?yàn)樵趦?nèi)部，它自動進(jìn)行時間戳分配和自動Watermarks生成。

    下面是Flink官網(wǎng)中對于時間標(biāo)識的一張圖：

4.設(shè)置時間特性

    通常，我們在Flink初始化流式運(yùn)行環(huán)境時，就會設(shè)置流處理時間特性。這個設(shè)置很重要，它決定了數(shù)據(jù)流的行為方式。（例如：是否需要給事件分配時間戳），以及窗口操作應(yīng)該使用什么樣的時間類型；代碼示例：

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//Flink默認(rèn)的是ProcessingTimeenv.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);// alternatively:// env.setStreamTimeCharacteristic(TimeCharacteristic.IngestionTime);// env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

    至此，F(xiàn)link三種時間機(jī)制講解完畢，上面我們說了EventTime必須要指定如何生成事件時間Watermarks。

關(guān)于怎么理解Flink1.10中的時間機(jī)制就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

標(biāo)題名稱：怎么理解Flink1.10中的時間機(jī)制
網(wǎng)站地址：http://jinyejixie.com/article32/poeosc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、微信小程序、自適應(yīng)網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站維護(hù)、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)