這篇文章給大家介紹怎么實現spark的官網原生監控整理，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

創新互聯是一家集網站建設,衡南企業網站建設,衡南品牌網站建設,網站定制,衡南網站建設報價,網絡營銷,網絡優化,衡南網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力?？沙浞譂M足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

一.官網解析

1.官網位置截圖Monitoring

2.解釋

對于默認的webui 你訪問完就不可以在看到了
這樣你不可能知道之前發生什么事情
你可以通過配置在界面上顯示

3.spark.eventLog.enabled 打開

你要把spark.eventLog.enabled to true before starting the application.  這個打開
這個配置在spark-default.conf     spark.eventLog.enabled           true

4.官網體現

5.配置文件體現

配置文件體現，配置成hdfs的
這個只用來存取，供頁面使用

二.配置日志位置的讀取

1.讀取配置

讀取這個存儲日志文件的位置要在spark.env.sh配置
"-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777"
這個是頁面可以取這個存儲日志下去讀，還可以設置端口

2.讀取順序

看最后一項SPARK_HISTORY_OPTS
后面的這些參數要配置到SPARK_HISTORY_OPTS=（配置下面參數）  都在psrk-env.sh

3.注意要設置時間間隔和清理時間參數

這三項是防止不清楚日志hdfs存滿
一個是把自動清除開關打開，隔多久清理一次，清理一次要清理多久的數據

4.啟動

最后要啟動start-history-server.sh
訪問你的啟動主機的ip:你設置的端口號

5.結果展示

6.注意事項

Incomplete 產生原因
一個是正在運行，另一個是沒有sc.stop情況下
所以一定要sc.stop

三.第二種監控方式REST風格

1.官網

2.訪問方式類似

你可以自己定制，改變，拿到json
結果  ，訪問路徑 http://s201:7777/api/v1/applications

3.結果展示

關于怎么實現spark的官網原生監控整理就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文名稱：怎么實現spark的官網原生監控整理-創新互聯
網站網址：http://m.newbst.com/article36/cejcsg.html

成都網站建設公司_創新互聯，為您提供動態網站、關鍵詞優化、靜態網站、網站設計公司、網站建設、網站改版

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯