這篇文章將為大家詳細(xì)講解有關(guān)spark1.4.1如何配置，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),秦淮企業(yè)網(wǎng)站建設(shè),秦淮品牌網(wǎng)站建設(shè),網(wǎng)站定制,秦淮網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,秦淮網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶(hù)成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

1.創(chuàng)建腳本

cd /opt/spark-1.4.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

2.程序加入環(huán)境變量

vi spark-env.sh

export JAVA_HOME=/opt/jdk1.7.0_75
export SCALA_HOME=/opt/scala-2.11.6
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop

# spark的work目錄臨時(shí)文件自動(dòng)清理，清理頻率每半小時(shí)
export SPARK_WORKER_DIR="/home/hadoop/spark/worker/"
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800"

vi slaves
填入各節(jié)點(diǎn)hostname

3.系統(tǒng)加入環(huán)境變量

vi /etc/profile
export SPARK_HOME=/opt/spark-1.4.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

4.啟動(dòng)

cd ../sbin/
./start-all.sh

5.查看進(jìn)程是否啟動(dòng)

jps
4211 Master
4367 Worker

6.進(jìn)入spark的web頁(yè)面 http://spore:8080/

7.使用spark-shell

cd ../bin/
./spark-shell

8.sparkUI http://spore:4040

源碼閱讀，查看spark支持哪些sql關(guān)鍵字：

spark\sql\catalyst\src\main\scala\org\apache\spark\sql\catalyst\SQLParser.scala

spark-sql自定義函數(shù)例子

http://colobu.com/2014/12/11/spark-sql-quick-start/

如果要使用bin/spark-sql這個(gè)命令

必須啟動(dòng)hive metastore且conf/hive-site.xml內(nèi)必須要有hive.metastore.uris的配置，例如

<configuration>
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://byd0087:9083</value>
    </property>
</configuration>

啟動(dòng)bin/spark-sql，即可使用hive的HQL語(yǔ)句，速度可比hive快多了

關(guān)于“spark1.4.1如何配置”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

文章名稱(chēng)：spark1.4.1如何配置
當(dāng)前網(wǎng)址：http://m.newbst.com/article38/gssopp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)站策劃、網(wǎng)站改版、網(wǎng)站營(yíng)銷(xiāo)、Google、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)