本篇內容介紹了“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
創新互聯公司技術團隊十年來致力于為客戶提供成都做網站、網站建設、品牌網站制作、成都全網營銷推廣、搜索引擎SEO優化等服務。經過多年發展,公司擁有經驗豐富的技術團隊,先后服務、推廣了上千家網站,包括各類中小企業、企事單位、高校等機構單位。
Hadoop版本:0.20.203.0
eclipse版本:indigo最新版(http://www.eclipse.org/downloads/ )
安裝eclipse其實就是解壓,不過得先修改壓縮文件的權限:
sudo chmod 777 eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz
然后將解壓出來的文件夾的權限也改為777:
sudo chmod 777 -R eclipse
現在可以進入到eclipse文件夾中打開eclipse了,但還不能編寫Hadoop程序。下面,問題也就來了
網上說直接把hadoop-0.20.203.0/contrib/下的hadoop-eclipse-plugin-0.20.203.0.jar復制到eclipse/plugins下就可以了,但是筆者就遇到如下問題:Map/Reduce location status updater,org/codehaus/jackson/map/JsonMappingException
查找網上的解決辦法,說是剛才復制的包里少了5個jar包,要加入進去,到hadoop的根目錄下的lib文件夾里將下列5個包加入hadoop-eclipse-plugin-0.20.203.0.jar的lib中(把剛才復制的那個包打開,直接將下面這五個包拖進去就行了)
commons-configuration-1.6.jar
commons-httpclient-3.0.1.jar
commons-lang-2.4.jar
jackson-core-asl-1.0.1.jar
jackson-mapper-asl-1.0.1.jar
然后更改該包META-INF目錄下的MANIFEST.MF,將classpath修改為一下內容:
Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
保存退出,最后,把這個新的包復制過去重現打開eclipse
然后,在eclipse中加入Hadoop的路徑,如下:
加入Hadoop路徑即可
打開MapReduce視圖:
然后選則Map/Reduce:
然后可以看到下面多出了Map/Reduce Locations
在下方空白處單擊右鍵選擇New Hadoop location,出現如下畫面:
Map/Reduce Master中填寫mapred-site.xml中的端口號,旁邊那個Port中填寫core-site.xml中的端口號
上面那個Location name隨便填一個就行。完成后可以看到左邊如下圖:
不過里面的內容不會馬上顯示,必須刷新一下。以后在運行程序,或者上傳東西到HDFS上后都得刷新才能看到東西,如果各位要在這上面看的話。
現在,演示一個在eclipse上執行Hadoop程序的操作(程序為WordCount):
選擇Run Congratulations:
進入如下畫面:
左側雙擊Java Application,右側的內容將自動生成,然后切換到Arguments選項卡,填入如下內容:
前一段為輸入文件夾,后一段為輸出文件夾。點擊Run,程序開始運行,如下:
運行成功,結果如下:
“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注創新互聯網站,小編將為大家輸出更多高質量的實用文章!
分享題目:Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序
當前URL:http://m.newbst.com/article10/ggpego.html
成都網站建設公司_創新互聯,為您提供面包屑導航、小程序開發、做網站、關鍵詞優化、手機網站建設、服務器托管
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯