這套維護優(yōu)化腳本，是我在業(yè)余時間編寫的，專門用于針對goldengate數(shù)據(jù)同步工具的腳本

成都創(chuàng)新互聯(lián)公司專注于阿克塞哈薩克族自治網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供阿克塞哈薩克族自治營銷型網(wǎng)站建設(shè)，阿克塞哈薩克族自治網(wǎng)站制作、阿克塞哈薩克族自治網(wǎng)頁設(shè)計、阿克塞哈薩克族自治網(wǎng)站官網(wǎng)定制、小程序制作服務(wù)，打造阿克塞哈薩克族自治網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供阿克塞哈薩克族自治網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

主要原因還是本人有點懶不喜歡繁瑣的手動操作。所以借助shell腳本來減低自己的工作量

部分參考了一些網(wǎng)絡(luò)大牛的shell腳本設(shè)計

因為離職的緣故估計以后職業(yè)生涯中可能不會用到，因此將該腳本的設(shè)計方案以及具體內(nèi)容共享出來

給各位網(wǎng)友學(xué)習(xí)和參考

因為能力問題部分功能可能寫的比較粗糙，希望各位別見怪。歡迎各位提出自己意見。謝謝各位

我會慢慢更新博文完善內(nèi)容。

一、腳本設(shè)計目的

我在進行OGG的運維工作，會遇到以下問題

1>    加表步驟繁瑣

部分需求提供表存在表格式不規(guī)范，已經(jīng)重復(fù)配置，導(dǎo)致加表時需花費時間進行重復(fù)配置確認(rèn)

2>    因應(yīng)用頻繁修改表結(jié)構(gòu)導(dǎo)致目標(biāo)端頻繁異常中斷，同時影響進程內(nèi)其他表的正常同步

3>    因維護需要停止進程操作中，遇到長事務(wù)過多，導(dǎo)致比較繁瑣的跳過長事務(wù)操作。

4>    因數(shù)據(jù)庫異常導(dǎo)致的進程非正常延時，導(dǎo)致數(shù)據(jù)同步滯后，同時因監(jiān)控未能及時通知，導(dǎo)致歸檔文件被備份清理導(dǎo)致的進程中斷

5>    因線路增加導(dǎo)致后期運維（注釋加表）操作日益繁瑣。同時OGG配置信息過于混亂，難以統(tǒng)一查詢

因此需要通過有效的輔助手段優(yōu)化或改善目前運維中會遇到的問題

二、腳本設(shè)計思路

使用腳本直接整合重復(fù)表過濾以及附加日志添加操作。

1.優(yōu)化大批量新增表需求的加表操作

直接操作prm文件

在編輯原文件時自動備份，確保因為誤操作導(dǎo)致異常后可以正常進行恢復(fù)

每一步操作都有日志記錄確保可追查操作人

配有參數(shù)條件的表需要特別手動調(diào)整

注：該腳本需要對所有進程進行格式注釋配置，方能生效

大概腳本功能ER圖（僅為需求設(shè)計，部分功能已經(jīng)完成，部分尚未完成）

2.單表一鍵插入

這是根據(jù)多表批量插入腳本測試后單獨設(shè)計的，針對少量加表需求的腳本

可以按照指令表名區(qū)域名操作用戶名

的格式快速插入進程，并完成附加日志的增加操作

該腳本僅針對EXTRACT和PUMP進程，無法對REPLICAT進程進行操作。

大概腳本功能ER圖

3.跳過長事務(wù)

正常運維中，每次加表或者修改EXTRACT配置后，必須對每個進程進行啟停

以對配置生效。但是因為數(shù)據(jù)庫長事務(wù)導(dǎo)致進程必須進行長事務(wù)跳過操作，才能正常停止。

如果長事務(wù)過多，該操作較為繁瑣，需要通過showtrans獲取長事務(wù)信息，再比對，修改成指令后于ggsci內(nèi)執(zhí)行

因此專門設(shè)計該腳本用于自動化的對EXTRACT進程進行長事務(wù)跳過操作

4.批量注釋

用于應(yīng)對業(yè)務(wù)取消相關(guān)表同步配置的需求

因為部分業(yè)務(wù)方需要對源端進行歷史數(shù)據(jù)清理，因為清理操作時大量的delete或者update操作會導(dǎo)致大批量的歸檔文件生成?？赡軐?dǎo)致數(shù)據(jù)鏈路的高延時。

因此需要對已配置的表信息進行注釋處理

因為數(shù)據(jù)清理量大時，表數(shù)量可能會達(dá)到40-50張

一張張的加注釋肯定會把自己累的發(fā)飆的，所以需求時設(shè)計了該個批量注釋腳本

5.批量取消注釋

該腳本功能與批量注釋腳本功能相反

主要用于應(yīng)對應(yīng)用數(shù)據(jù)清理后要求取消注釋的操作

6.信息上傳

這個腳本專門用于發(fā)送OGG生成的定義文件，日志，或者其他相關(guān)信息到指定的目標(biāo)機器

可作為同步定義文件，日志分類整理或者整理配置信息的輔助功能腳本。可以在其他優(yōu)化腳本中以指定格式被調(diào)用

因為是通過SSH協(xié)議發(fā)送，因此需要在防火墻安全策略上做出相應(yīng)配置才能正常發(fā)送

同時可以通過計劃任務(wù)的方式定時執(zhí)行

7.進程配置信息查詢

該腳本通過進程內(nèi)人為填寫的進程INFO信息,獲取并整理為進程詳細(xì)配置信息表

包括源端，源端IP，發(fā)送目標(biāo)端及IP，定義文件等等信息（可根據(jù)需求調(diào)整）

分為本機查詢和上傳用HTML2個版本

8.定義文件自動同步

因為源端與目標(biāo)端存在表結(jié)構(gòu)的異常,因此OGG通過定義文件來確保數(shù)據(jù)能夠正常同步

但是因為目前運維中，部分源端的開發(fā)人員經(jīng)常不經(jīng)預(yù)先提醒的頻繁修改表結(jié)構(gòu)

或因為定義文件的損壞，配置錯誤，導(dǎo)致目標(biāo)端replicate進程異常。

以致目標(biāo)端trail文件積壓，導(dǎo)致磁盤空間告警等連鎖系統(tǒng)異常問題。

因此通過定義文件自動同步腳本，可以實時的更新定義文件，確保目標(biāo)端replicate進程的正常運行

注：該腳本需要對定義文件生成prm文件進行格式注釋配置，方能生效（詳見后面的說明），同時需配置源端的計劃任務(wù)，目標(biāo)端的自動重啟參數(shù)確保寫入進程因為數(shù)據(jù)格式異常中斷后，能夠重啟讀取新的定義文件

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前標(biāo)題：OGG維護優(yōu)化腳本（一）-需求分析篇-創(chuàng)新互聯(lián)
標(biāo)題來源：http://jinyejixie.com/article44/dchihe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、企業(yè)建站、微信小程序、品牌網(wǎng)站建設(shè)、域名注冊、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)