這套維護優化腳本,是我在業余時間編寫的,專門用于針對goldengate數據同步工具的腳本
成都創新互聯公司專注于阿克塞哈薩克族自治網站建設服務及定制,我們擁有豐富的企業做網站經驗。 熱誠為您提供阿克塞哈薩克族自治營銷型網站建設,阿克塞哈薩克族自治網站制作、阿克塞哈薩克族自治網頁設計、阿克塞哈薩克族自治網站官網定制、小程序制作服務,打造阿克塞哈薩克族自治網絡公司原創品牌,更為您提供阿克塞哈薩克族自治網站排名全網營銷落地服務。主要原因還是本人有點懶不喜歡繁瑣的手動操作。所以借助shell腳本來減低自己的工作量
部分參考了一些網絡大牛的shell腳本設計
因為離職的緣故估計以后職業生涯中可能不會用到,因此將該腳本的設計方案以及具體內容共享出來
給各位網友學習和參考
因為能力問題部分功能可能寫的比較粗糙,希望各位別見怪。歡迎各位提出自己意見。謝謝各位
我會慢慢更新博文完善內容。
一、腳本設計目的
我在進行OGG的運維工作,會遇到以下問題
1> 加表步驟繁瑣
部分需求提供表存在表格式不規范,已經重復配置,導致加表時需花費時間進行重復配置確認
2> 因應用頻繁修改表結構導致目標端頻繁異常中斷,同時影響進程內其他表的正常同步
3> 因維護需要停止進程操作中,遇到長事務過多,導致比較繁瑣的跳過長事務操作。
4> 因數據庫異常導致的進程非正常延時,導致數據同步滯后,同時因監控未能及時通知,導致歸檔文件被備份清理導致的進程中斷
5> 因線路增加導致后期運維(注釋加表)操作日益繁瑣。同時OGG配置信息過于混亂,難以統一查詢
因此需要通過有效的輔助手段優化或改善目前運維中會遇到的問題
二、腳本設計思路
使用腳本直接整合重復表過濾以及附加日志添加操作。
1.優化大批量新增表需求的加表操作
直接操作prm文件
在編輯原文件時自動備份,確保因為誤操作導致異常后可以正常進行恢復
每一步操作都有日志記錄確保可追查操作人
配有參數條件的表需要特別手動調整
注:該腳本需要對所有進程進行格式注釋配置,方能生效
大概腳本功能ER圖(僅為需求設計,部分功能已經完成,部分尚未完成)
2.單表一鍵插入
這是根據多表批量插入腳本測試后單獨設計的,針對少量加表需求的腳本
可以按照指令表名區域名操作用戶名
的格式快速插入進程,并完成附加日志的增加操作
該腳本僅針對EXTRACT和PUMP進程,無法對REPLICAT進程進行操作。
大概腳本功能ER圖
3.跳過長事務
正常運維中,每次加表或者修改EXTRACT配置后,必須對每個進程進行啟停
以對配置生效。但是因為數據庫長事務導致進程必須進行長事務跳過操作,才能正常停止。
如果長事務過多,該操作較為繁瑣,需要通過showtrans獲取長事務信息,再比對,修改成指令后于ggsci內執行
因此專門設計該腳本用于自動化的對EXTRACT進程進行長事務跳過操作
4.批量注釋
用于應對業務取消相關表同步配置的需求
因為部分業務方需要對源端進行歷史數據清理,因為清理操作時大量的delete或者update操作會導致大批量的歸檔文件生成。可能導致數據鏈路的高延時。
因此需要對已配置的表信息進行注釋處理
因為數據清理量大時,表數量可能會達到40-50張
一張張的加注釋肯定會把自己累的發飆的,所以需求時設計了該個批量注釋腳本
5.批量取消注釋
該腳本功能與批量注釋腳本功能相反
主要用于應對應用數據清理后要求取消注釋的操作
6.信息上傳
這個腳本專門用于發送OGG生成的定義文件,日志,或者其他相關信息到指定的目標機器
可作為同步定義文件,日志分類整理或者整理配置信息的輔助功能腳本。可以在其他優化腳本中以指定格式被調用
因為是通過SSH協議發送,因此需要在防火墻安全策略上做出相應配置才能正常發送
同時可以通過計劃任務的方式定時執行
7.進程配置信息查詢
該腳本通過進程內人為填寫的進程INFO信息,獲取并整理為進程詳細配置信息表
包括源端,源端IP,發送目標端及IP,定義文件等等信息(可根據需求調整)
分為本機查詢和上傳用HTML2個版本
8.定義文件自動同步
因為源端與目標端存在表結構的異常,因此OGG通過定義文件來確保數據能夠正常同步
但是因為目前運維中,部分源端的開發人員經常不經預先提醒的頻繁修改表結構
或因為定義文件的損壞,配置錯誤,導致目標端replicate進程異常。
以致目標端trail文件積壓,導致磁盤空間告警等連鎖系統異常問題。
因此通過定義文件自動同步腳本,可以實時的更新定義文件,確保目標端replicate進程的正常運行
注:該腳本需要對定義文件生成prm文件進行格式注釋配置,方能生效(詳見后面的說明),同時需配置源端的計劃任務,目標端的自動重啟參數確保寫入進程因為數據格式異常中斷后,能夠重啟讀取新的定義文件
另外有需要云服務器可以了解下創新互聯cdcxhl.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
當前標題:OGG維護優化腳本(一)-需求分析篇-創新互聯
標題來源:http://m.newbst.com/article44/dchihe.html
成都網站建設公司_創新互聯,為您提供網站設計公司、企業建站、微信小程序、品牌網站建設、域名注冊、網站改版
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯