如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

創(chuàng)新互聯(lián)是一家專(zhuān)注于成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),江達(dá)網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:江達(dá)等地區(qū)。江達(dá)做網(wǎng)站價(jià)格咨詢(xún):028-86922220

Kafka的權(quán)限控制和監(jiān)控告警

(1)權(quán)限控制

開(kāi)始介紹時(shí)我們說(shuō)過(guò)，早期Kafka集群沒(méi)有設(shè)置安全驗(yàn)證處于裸跑狀態(tài)，因此只要知道Broker的連接地址即可生產(chǎn)消費(fèi)，存在嚴(yán)重的數(shù)據(jù)安全性問(wèn)題。

一般來(lái)說(shuō),使用SASL的用戶(hù)多會(huì)選擇Kerberos，但就平臺(tái)Kafka集群的使用場(chǎng)景來(lái)說(shuō)，用戶(hù)系統(tǒng)并不復(fù)雜，使用Kerberos就有些大材小用,同時(shí)Kerberos相對(duì)復(fù)雜，存在引發(fā)其他問(wèn)題的風(fēng)險(xiǎn)。另外，在Encryption方面,由于都是運(yùn)行在內(nèi)網(wǎng)環(huán)境，所以并沒(méi)有使用SSL加密。

最終平臺(tái)Kafka集群使用SASL作為鑒權(quán)方式,基于SASL/SCRAM+ACL的輕量級(jí)組合方式，實(shí)現(xiàn)動(dòng)態(tài)創(chuàng)建用戶(hù)，保障數(shù)據(jù)安全。

(2)監(jiān)控告警

之前在集群的使用中我們經(jīng)常發(fā)現(xiàn)，消費(fèi)應(yīng)用的性能無(wú)緣無(wú)故變差了。分析問(wèn)題的原因,通常是滯后Consumer讀取的數(shù)據(jù)大概率沒(méi)有命中Page-cache，導(dǎo)致Broker端機(jī)器的內(nèi)核要首先從磁盤(pán)讀取數(shù)據(jù)加載到Page-cache中后，才能將結(jié)果返還給Consumer，相當(dāng)于本來(lái)可以服務(wù)于寫(xiě)操作的磁盤(pán)現(xiàn)在要讀取數(shù)據(jù)了,影響了使用方讀寫(xiě)同時(shí)降低的集群的性能。

這時(shí)就需要找出滯后Consumer的應(yīng)用進(jìn)行事前的干預(yù)從而減少問(wèn)題發(fā)生，因此監(jiān)控告警無(wú)論對(duì)平臺(tái)還是用戶(hù)都有著重大的意義。下面介紹一下我們的實(shí)踐思路。

整體方案：

整體方案主要是基于開(kāi)源組件KafkaJMXMetrics+OpenFalcon+Grafana：

KafkaJMXMetrics：Kafkabroker的內(nèi)部指標(biāo)都以JMXMetrics的形式暴露給外部。1.1.1版本提供了豐富的監(jiān)控指標(biāo)，滿(mǎn)足監(jiān)控需要

OpenFalcon：小米開(kāi)源的一款企業(yè)級(jí)、高可用、可擴(kuò)展的開(kāi)源監(jiān)控系統(tǒng)

Grafana：Metrics可視化系統(tǒng)，大家比較熟悉，可對(duì)接多種Metrics數(shù)據(jù)源。

關(guān)于告警：

雷達(dá)系統(tǒng):自研監(jiān)控系統(tǒng)，通過(guò)Falcon及Eagle獲取Kafka指標(biāo)，結(jié)合設(shè)定閾值進(jìn)行告警。以消費(fèi)方式舉例，Lag是衡量消費(fèi)情況是否正常的一個(gè)重要指標(biāo)，如果Lag一直增加，必須要對(duì)它進(jìn)行處理。

發(fā)生問(wèn)題的時(shí)候，不僅Consumer管理員要知道，它的用戶(hù)也要知道，所以報(bào)警系統(tǒng)也需要通知到用戶(hù)。具體方式是通過(guò)企業(yè)微信告警機(jī)器人自動(dòng)提醒對(duì)應(yīng)消費(fèi)組的負(fù)責(zé)人或使用者及Kafka集群的管理者。

關(guān)于監(jiān)控：

Falcon-agent：部署到每臺(tái)Broker上,解析KafkaJMX指標(biāo)上報(bào)數(shù)據(jù)

Grafana：用來(lái)可視化FalconKafkaMetrics數(shù)據(jù)，對(duì)Cluster、Broker、Topic、Consumer4個(gè)角色制作監(jiān)控大盤(pán)。

Eagle：獲取消費(fèi)組Active狀態(tài)、消費(fèi)組Lag積壓情況，同時(shí)提供API，為監(jiān)控告警系統(tǒng)「雷達(dá)」提供監(jiān)控?cái)?shù)據(jù)。

看完上述內(nèi)容，你們掌握如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

當(dāng)前題目：如何進(jìn)行Kafka的權(quán)限控制和監(jiān)控告警-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://m.newbst.com/article38/jgopp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、服務(wù)器托管、外貿(mào)建站、軟件開(kāi)發(fā)、定制開(kāi)發(fā)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)