idea中如何遠(yuǎn)程調(diào)試spark，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

綿竹網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,綿竹網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為綿竹上千余家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營(yíng)銷網(wǎng)站建設(shè)要多少錢(qián)，請(qǐng)找那個(gè)售后服務(wù)好的綿竹做網(wǎng)站的公司定做！

spark 遠(yuǎn)端調(diào)試

本地調(diào)試遠(yuǎn)端集群運(yùn)行的spark項(xiàng)目，當(dāng)spark項(xiàng)目在集群上報(bào)錯(cuò)，但是本地又查不出問(wèn)題時(shí)，最好的方式就是調(diào)試一步一步跟蹤代碼。但是在集群上的代碼又不能像本地一樣的調(diào)試。那么就試試這個(gè)調(diào)試方法吧。

遠(yuǎn)程調(diào)試spark其實(shí)就四步：

• * 第一步j(luò)ar包拷貝到集群master節(jié)點(diǎn)。

• * 第二步在 idea 中配置遠(yuǎn)程機(jī)器的IP 和調(diào)試端口號(hào)。

• * 第三步：?jiǎn)?dòng)遠(yuǎn)端的spark項(xiàng)目。

• * 第四步 啟動(dòng)idea 進(jìn)行調(diào)試。

首先

首先了解jvm一些參數(shù)屬性

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888

這里對(duì)上面的幾個(gè)參數(shù)進(jìn)行說(shuō)明：

• -Xdebug 啟用調(diào)試特性

• -Xrunjdwp 啟用JDWP實(shí)現(xiàn)，包含若干子選項(xiàng)：

• transport=dt_socket JPDA front-end和back-end之間的傳輸方法。dt_socket表示使用套接字傳輸。

• address=8888 JVM在8888端口上監(jiān)聽(tīng)請(qǐng)求，這個(gè)設(shè)定為一個(gè)不沖突的端口即可。

• server=y y表示啟動(dòng)的JVM是被調(diào)試者。如果為n，則表示啟動(dòng)的JVM是調(diào)試器。

• suspend=y y表示啟動(dòng)的JVM會(huì)暫停等待，直到調(diào)試器連接上才繼續(xù)執(zhí)行。suspend=n，則JVM不會(huì)暫停等待。

第一步 將jar包拷貝到集群

將spark 項(xiàng)目打jar包， 將jar包放到集群master節(jié)點(diǎn)上；

第二步 配置idea

編輯idea配置：

點(diǎn)擊小三角，選擇：edit Configurations 如圖

添加一個(gè)remote 配置

配置遠(yuǎn)端地址和端口 （此處配置的是 遠(yuǎn)端master 節(jié)點(diǎn)的地址）

第三步 遠(yuǎn)端啟動(dòng)spark項(xiàng)目

在集群?jiǎn)?dòng)要調(diào)試的spark項(xiàng)目。命令如下：

/tmp/mySpark.jar 為你sprak 項(xiàng)目在集群master上的位置

spark-submit --class WordCount --master spark://192.168.100.xx:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" /tmp/mySpark.jar

也可在conf/spark-env.sh這個(gè)文件最后加入（不過(guò)沒(méi)有進(jìn)行實(shí)際測(cè)試）

export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"

如圖進(jìn)入監(jiān)聽(tīng)：

第四步 啟動(dòng)idea

啟動(dòng)idea 的debug 模式就會(huì)進(jìn)入斷點(diǎn)。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

名稱欄目：idea中如何遠(yuǎn)程調(diào)試spark
分享鏈接：http://m.newbst.com/article42/jesohc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、云服務(wù)器、網(wǎng)站策劃、微信小程序、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)