2021-02-23 分類: 網站建設
下面將主要從白盒監控的采集入手,解答上面關于新系統如何添加監控的問題。
圖 1 黑盒與白盒監控
監控指標的采集
配置監控時,我們首要面對的是監控數據如何采集的問題。一般我們可以把監控指標分為兩類:基礎監控和業務監控。
基礎監控
包括CPU、內存、磁盤、端口和進程等機器、網絡的操作系統級別的信息。通常情況下,成熟的監控系統(例如開源的Prometheus、Zabbix等)均會提供基礎監控項的采集能力,這里不做過多介紹。但需要注意的一點,機器級別的基礎監控指標一般并不能代表服務的真實運行狀況,例如單臺實例的故障對一個設計合理的分布式系統來說并不會帶來嚴重后果。所以只有結合業務相關監控指標,基礎監控指標才有意義。
業務監控
業務監控指標由業務系統內部的服務產生,一般能夠真實反應業務運行狀態。設計合理的系統一般都會提供相關監控指標供監控系統采集。監控數據的采集方法一般可以分為以下幾大類:
以上列出了幾種常見的監控指標采集方法,在實際工作,如果沒有現成的監控采集插件,則需要我們自行開發采集腳本。
四個黃金指標
圖 2 四個黃金指標
無論業務系統如何復雜,監控指標如何眼花繚亂,但萬變不離其宗,監控的目的無非是為了解服務運行狀況、發現服務故障和幫助定位故障原因。為了達成這個目的,Google SRE總結的監控四個黃金指標對我們添加監控具有非常重要的指導意義。圖 2給出四個黃金指標所包含的主要監控指標,下面我們就這四個黃金指標分別展開說明,并給出一些監控項的采集實例。
錯誤:錯誤是指當前系統發生的錯誤請求
和錯誤率
說明:
錯誤是需要在添加監控時首要關注的指標。在添加錯誤相關監控時,我們應該關注以下幾個方面:
基礎監控:宕機、磁盤(壞盤或文件系統錯誤)、進程或端口掛掉、網絡丟包等故障
業務監控:
注意:除白盒監控外,主要功能或接口、以及內部存在明顯邊界的功能模塊和上游依賴模塊,都應該添加黑盒端到端監控。
延遲:服務請求所需時間
說明:
服務延遲的上升不僅僅體現在用戶體驗的下降,也有可能會導致請求堆積并最終演變為整個業務系統的雪崩。以下為延遲指標的主要關注點:
注意:與錯誤指標類似,白盒延遲指標通常僅能代表系統內部延遲,建議為主要功能或接口添加黑盒監控來采集端到端的延遲指標。
流量:當前系統的流量
說明:
流量指標可以指系統層面的網絡和磁盤IO,服務層面的QpS、PV和UV等數據。流量和突增或突減都可能預示著系統可能出現問題(攻擊事件、系統故障…)。
飽和度:用于衡量當前服務的利用率
說明:
更為通俗的講,飽和度可以理解為服務的利用率,可以代表系統承受的壓力。所以飽和度與流量息息相關,流量的上升一般也會導致飽和度的上升。通常情況下,每種業務系統都應該有各自的飽和度指標。在很多業務系統中,消息隊列長度是一個比較重要的飽和度指標,除此之外CPU、內存、磁盤、網絡等系統資源利用率也可以作為飽和度的一種體現方式。
基礎監控:CPU、內存、磁盤和網絡利用率、內存堆棧利用率、文件句柄數、TCP連接數等
業務監控:
總結
以上總結了常見的監控指標采集方法,以及四個黃金指標所包含的常見內容。在實際工作中,不同的監控系統的設計多種多樣,沒有統一標準,并且不同的業務系統通常也有著特定的監控采集方法和不同的黃金指標定義,具體如何采集監控指標和添加告警都需要我們針對不同系統特點靈活應對。
在前面的監控系列文章中,我們介紹了Kafka、Zookeeper、ElasticSearch、Hadoop以及電商商城平臺等一系列開源軟件和業務系統的監控實踐。但通常情況下,線上業務一般是由眾多開源或自研中間件加上層業務系統組成。而業務系統的復雜度會隨著系統變更和新業務上線而發生快速增長。不斷變化的業務環境下,新業務層出不窮。當面臨一個新系統時,監控工作應該如何開展?
本文標題:運維監控的終極秘籍,盤它!
當前地址:http://m.newbst.com/news0/102500.html
成都網站建設公司_創新互聯,為您提供網站營銷、網站收錄、云服務器、虛擬主機、小程序開發、網站策劃
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容