免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

hive的環(huán)境搭建-創(chuàng)新互聯(lián)

因?yàn)閔ive是基于hadoop的，所以一定要有hadoop的平臺(tái)支撐：
hadoop分布式集群搭建：https://blog.51cto.com/14048416/2341491

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比龍井網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式龍井網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋龍井地區(qū)。費(fèi)用合理售后完善，10年實(shí)體公司更值得信賴。

1. 內(nèi)嵌Derby版本:

安裝步驟：

  • 上傳安裝包：apache-hive-2.3.2-bin.tar.gz
  • 解壓安裝包：tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /application
  • 進(jìn)入進(jìn)入到 bin 目錄，運(yùn)行 hive 腳本：./hive
  • 初始化元數(shù)據(jù)庫(kù)：./schematool -dbType derby -initSchema
  • 最終測(cè)試進(jìn)入hive后：hive>show tables;

安裝時(shí)的常見錯(cuò)誤：

  • Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)，這表示metastore_db已經(jīng)存在，在相應(yīng)的進(jìn)入hive的目錄中刪除metastore_db，然后重新初初始化元數(shù)據(jù)即可。
  • Terminal initialization failed; falling back to unsupported。這是因?yàn)閔adoop（/root/apps/hadoop-2.6.5/share/hadoop/yarn/lib）集群的 jline-0.9.94.jar 包版本 過低，替換成 hive/lib 中的 jline-2.12.jar 包即可，記住：所有 hdfs 節(jié)點(diǎn)都得替換。

注意：使用Derby方式部署的hive，在哪個(gè)工作空間進(jìn)入hive，就會(huì)在哪個(gè)工作空間創(chuàng)建一個(gè)derby.log metastore_db，元數(shù)據(jù)。即元數(shù)據(jù)跟著空間跑，如果下次不在這個(gè)工作空間進(jìn)入，則無法訪問上傳存儲(chǔ)的數(shù)據(jù)。因此這也是使用Derby方式部署的hive的弊端。

2. 外置MySQL版本：

首先這里需要MySQL的服務(wù)，在集群的任意節(jié)點(diǎn)上配置MySQL。
安裝步驟：

  • 修改hive的配置文件：hive-site.xml 
    <configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop02:3306/hivedb?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
<!-- 如果 mysql 和 hive 在同一個(gè)服務(wù)器節(jié)點(diǎn)，那么請(qǐng)更改 hadoop02 位 localhost -->
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
Stay hungry Stay foolish -- http://blog.csdn.net/zhongqi2513
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
<!--指定hive數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)在hdfs上的目錄：-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
  • 把MySQL的驅(qū)動(dòng)包，放置在hive/lib (mysql-connector-java-5.1.40-bin.jar)
  • 配置hive的環(huán)境變量 
    export HIVE_HOME=/home/hadoop/apps/apache-hive-1.2.1-bin
export PATH=$PATH:$HIVE_HOME/bin
  • 驗(yàn)證hive的安裝：hive -help
  • 初始化元數(shù)據(jù)：schematool -dbType mysql -initSchema
  • 啟動(dòng)hive的客戶端：hive
    注意：當(dāng)配置好hive后，會(huì)在MySQL中生成57張表：
    DBS：管理庫(kù)的表：

hive的環(huán)境搭建
TBLS：管理表的表
hive的環(huán)境搭建
COLUMNS_V2：管理字段的表
hive的環(huán)境搭建

3. 連接hive的客戶端:

  • 直接使用hive命令，進(jìn)入hive進(jìn)行操作
  • 把hive啟動(dòng)成為一個(gè)后臺(tái)服務(wù)：nohup hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &，然后使用beeline連接。
    • [hadoop hadoop01@~]$beeline # 連接hive
    • hadoop01>!connect jdbc:hive2://hadoop01:10000 #連接客戶端連接hive倉(cāng)庫(kù)
    • 或者 [hadoop hadoop01@~]$beeline -u jdbc:hive2://hadoop01:10000 -n hadoop
      但是使用beeline連接通常會(huì)出現(xiàn)錯(cuò)誤： 
      Connecting to jdbc:hive2://hadoop01:10000
Enter username for jdbc:hive2://hadoop01:10000: hadoop
Enter password for jdbc:hive2://hadoop01:10000: ******
18/10/15 16:30:37 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop01:10000
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: hadoop is not allowed to impersonate hadoop (state=08S01,code=0

      報(bào)這個(gè)錯(cuò)誤的原因不是hive本身，而是hive底層所依賴的hdfs的權(quán)限管理提高了，hadoop集群報(bào)出來的。必須做權(quán)限認(rèn)證。
      解決方法：

  • 停止集群：stop-dfs.sh && stop-yarn.sh
  • 修改hadoop的hdfs-site.xml配置文件：加入： 
    <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
  • 修改hadoop的core-site.xml文件，加入： 
    <property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>   
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<!--core-site.xml這兩個(gè)配置的name中的第二個(gè)hadoop是你的用戶，如果不是hadoop需要修改-->
  • 重新啟動(dòng)hadoop集群，重新啟動(dòng)hive的 server，然后使用beeline連接即可。

    4.用戶接口的操作

     hive的命令分成兩大類：
       - 進(jìn)入hive客戶端之后的操作：
         - query：正常的操作語句（查詢+庫(kù)表的DDL操作）
         - ！linux命令：在hive客戶端中執(zhí)行Linux命令（只能執(zhí)行部分）
         - 在hive客戶端中執(zhí)行hadoop相關(guān)命令

    hive>！hadoop  fs -ls / ;   (以Linux命令的形式執(zhí)行)   慢
hive>dfs -ls  /;    使用當(dāng)前的hive客戶端的jvm進(jìn)程執(zhí)行   快

    常見操作有：

    hive>quit;    #退出hive的客戶端
hive>set key=value;     #設(shè)置hive的參數(shù)
hive>add jar xxx.jar   #臨時(shí)的向hive添加jar包
hive>add file          #向hive中的classpath中添加file
hive>list   jars   #查看添加的jar
hive>source  file   #執(zhí)行一個(gè)腳本（這個(gè)腳本時(shí)存儲(chǔ)在linux上）

   - 進(jìn)入hive客戶端之前的操作：

[hadoop hadoop01@~]$ hive -e 'hql' #在linux下執(zhí)行hive語句
[hadoop hadoop01@~]$ hive -f linux中的hql腳本  #在Linux下執(zhí)行hql腳本
[hadoop hadoop01@~]$ hive -h hiveconf   key=value # 進(jìn)入hive客戶端，并初始化參數(shù)(只能設(shè)置一個(gè))
[hadoop hadoop01@~]$ hive -i linux參數(shù)文件  #進(jìn)入，hive并執(zhí)行參數(shù)文件中的所有參數(shù)設(shè)置
[hadoop hadoop01@~]$ hive -v #輸出結(jié)果打印到控制臺(tái)
[hadoop hadoop01@~]$ hive -S #不打印日志，經(jīng)常和-e參數(shù)使用
[hadoop hadoop01@~]$ hive -S -e 'hql' >> file  #將查詢到的結(jié)果輸出到Linux文件中

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站標(biāo)題：hive的環(huán)境搭建-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://m.newbst.com/article30/coeeso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、微信小程序、網(wǎng)站建設(shè)、定制開發(fā)、軟件開發(fā)、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都app開發(fā)公司