本篇內(nèi)容主要講解“Prometheus時(shí)序數(shù)據(jù)庫(kù)怎么插入數(shù)據(jù)”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Prometheus時(shí)序數(shù)據(jù)庫(kù)怎么插入數(shù)據(jù)”吧!

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比大連網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式大連網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋大連地區(qū)。費(fèi)用合理售后完善，十多年實(shí)體公司更值得信賴。

前言

在之前的文章里，筆者詳細(xì)的闡述了Prometheus時(shí)序數(shù)據(jù)庫(kù)在內(nèi)存和磁盤中的存儲(chǔ)結(jié)構(gòu)。有了前面的鋪墊，筆者就可以在本篇文章闡述下數(shù)據(jù)的插入過程。

監(jiān)控?cái)?shù)據(jù)的插入

在這里，筆者并不會(huì)去討論P(yáng)romtheus向各個(gè)Endpoint抓取數(shù)據(jù)的過程。而是僅僅圍繞著數(shù)據(jù)是如何插入Prometheus的過程做下闡述。對(duì)應(yīng)方法:

func (a *headAppender) Add(lset labels.Labels, t int64, v float64) (uint64, error) {     ......     // 如果lset對(duì)應(yīng)的series沒有，則建一個(gè)。同時(shí)把新建的series放入倒排Posting映射里面     s, created := a.head.getOrCreate(lset.Hash(), lset)      if created { // 如果新創(chuàng)建了一個(gè)，則將新建的也放到a.series里面         a.series = append(a.series, record.RefSeries{             Ref:    s.ref,             Labels: lset,         })     }     return s.ref, a.AddFast(s.ref, t, v) }

我們就以下面的add函數(shù)調(diào)用為例:

app.Add(labels.FromStrings("foo", "bar"), 0, 0)

首先是getOrCreate,顧名思義，不存在則創(chuàng)建一個(gè)。創(chuàng)建的過程包含了seriesHashMap/Postings(倒排索引)/LabelIndex的維護(hù)。如下圖所示:

然后是AddFast方法

func (a *headAppender) AddFast(ref uint64, t int64, v float64) error{         // 拿出對(duì)應(yīng)的memSeries         s := a.head.series.getByID(ref)         ......         // 設(shè)置為等待提交狀態(tài)         s.pendingCommit=true         ......         // 為了事務(wù)概念，放入temp存儲(chǔ)，等待真正commit時(shí)候再寫入memSeries         a.samples = append(a.samples, record.RefSample{Ref: ref,T:   t,V:   v,})         //  }

Prometheus在add數(shù)據(jù)點(diǎn)的時(shí)候并沒有直接add到memSeries(也就是query所用到的結(jié)構(gòu)體里),而是加入到一個(gè)臨時(shí)的samples切片里面。同時(shí)還將這個(gè)數(shù)據(jù)點(diǎn)對(duì)應(yīng)的memSeries同步增加到另一個(gè)sampleSeries里面。

事務(wù)可見性

為什么要這么做呢?就是為了實(shí)現(xiàn)commit語(yǔ)義，只有commit過后數(shù)據(jù)才可見(能被查詢到)。否則，無法見到這些數(shù)據(jù)。而commit的動(dòng)作主要就是WAL(Write  Ahead Log)以及將headerAppender.samples數(shù)據(jù)寫到其對(duì)應(yīng)的memSeries中。這樣，查詢就可見這些數(shù)據(jù)了，如下圖所示:

WAL

由于Prometheus最近的數(shù)據(jù)是保存在內(nèi)存里面的，未防止服務(wù)器宕機(jī)丟失數(shù)據(jù)。其在commit之前先寫了日志W(wǎng)AL。等服務(wù)重啟的時(shí)候，再?gòu)腤AL日志里面獲取信息并重放。

為了性能，Prometheus了另一個(gè)goroutine去做文件的sync操作，所以并不能保證WAL不丟。進(jìn)而也不能保證監(jiān)控?cái)?shù)據(jù)完全不丟。這點(diǎn)也是監(jiān)控業(yè)務(wù)的特性決定的。

寫入代碼為:

commit() |=> func (a *headAppender) log() error {     ......     // 往WAL寫入對(duì)應(yīng)的series信息     if len(a.series) > 0 {         rec = enc.Series(a.series, buf)         buf = rec[:0]          if err := a.head.wal.Log(rec); err != nil {             return errors.Wrap(err, "log series")         }     }     ......     // 往WAL寫入真正的samples     if len(a.samples) > 0 {         rec = enc.Samples(a.samples, buf)         buf = rec[:0]          if err := a.head.wal.Log(rec); err != nil {             return errors.Wrap(err, "log samples")         }     } }

對(duì)應(yīng)的WAL日志格式為:

Series records

┌────────────────────────────────────────────┐ │ type = 1 <1b>                              │ ├────────────────────────────────────────────┤ │ ┌─────────┬──────────────────────────────┐ │ │ │ id <8b> │ n = len(labels) <uvarint>    │ │ │ ├─────────┴────────────┬─────────────────┤ │ │ │ len(str_1) <uvarint> │ str_1 <bytes>   │ │ │ ├──────────────────────┴─────────────────┤ │ │ │  ...                                   │ │ │ ├───────────────────────┬────────────────┤ │ │ │ len(str_2n) <uvarint> │ str_2n <bytes> │ │ │ └───────────────────────┴────────────────┘ │ │                  . . .                     │ └────────────────────────────────────────────┘

Sample records

┌──────────────────────────────────────────────────────────────────┐ │ type = 2 <1b>                                                    │ ├──────────────────────────────────────────────────────────────────┤ │ ┌────────────────────┬───────────────────────────┐               │ │ │ id <8b>            │ timestamp <8b>            │               │ │ └────────────────────┴───────────────────────────┘               │ │ ┌────────────────────┬───────────────────────────┬─────────────┐ │ │ │ id_delta <uvarint> │ timestamp_delta <uvarint> │ value <8b>  │ │ │ └────────────────────┴───────────────────────────┴─────────────┘ │ │                              . . .                               │ └──────────────────────────────────────────────────────────────────┘

見Prometheus WAL.md

落盤存儲(chǔ)

之前描述的所有數(shù)據(jù)都是寫到內(nèi)存里面。最終落地是通過compator routine將每?jī)蓚€(gè)小時(shí)的數(shù)據(jù)打包到一個(gè)Blocks里面。

到此，相信大家對(duì)“Prometheus時(shí)序數(shù)據(jù)庫(kù)怎么插入數(shù)據(jù)”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

網(wǎng)頁(yè)名稱：Prometheus時(shí)序數(shù)據(jù)庫(kù)怎么插入數(shù)據(jù)
網(wǎng)站網(wǎng)址：http://jinyejixie.com/article18/pdcsgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、手機(jī)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、企業(yè)建站、網(wǎng)站策劃、微信公眾號(hào)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)