小編給大家分享一下Hive如何自定義函數實現創建臨時函數和永久函數,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
成都創新互聯是一家企業級云計算解決方案提供商,超15年IDC數據中心運營經驗。主營GPU顯卡服務器,站群服務器,成都溫江機房,海外高防服務器,大帶寬服務器,動態撥號VPS,海外云手機,海外云服務器,海外服務器租用托管等。
1 先創建函數類文件
1.1 使用IDEA創建maven項目,創建HelloUDF類
1.2 運行HelloUDF類,測試是否成功
1.3 將HelloUDF類打成jar包。
2 創建函數
2.1 創建臨時函數
臨時函數僅對當前session(黑窗口)有效。
2.1.1 添加jar包的兩種方法
方法一: add jar /home/hadoop/lib/hive-1.0-SNAPSHOT.jar;
方法二: 在hive的文件夾下面創建auxlib文件夾,將jar包上傳到auxlib文件夾下面,重啟hive。
2.1.2 創建臨時函數
語法:CREATE TEMPORARY FUNCTION function_name AS class_name;
function_name函數名
class_name 類路徑,包名+類名
實例:
-- 創建sayhello函數
hive> create temporary function sayhello as 'com.ruozedata.bigdata.HelloUDF';
OK
Time taken: 0.087 seconds
hive>
-- 查看函數列表
hive> show functions;
OK
abs
acos
add_months
sayhello
hive>
-- 測試使用函數
hive> select sayhello('zhang','san') from dual ;
OK
Hello:zhang : san
Time taken: 0.558 seconds, Fetched: 1 row(s)
hive>
2.1.3 刪除臨時函數
語法:DROP TEMPORARY FUNCTION [IF EXISTS] function_name;
實例:
hive> DROP TEMPORARY FUNCTION IF EXISTS sayhello;
OK
Time taken: 0.015 seconds
hive>
2.2 創建永久函數
2.2.1 創建永久函數的語法:
CREATE FUNCTION [db_name.]function_name AS class_name
[USING JAR|FILE|ARCHIVE 'file_uri' [, JAR|FILE|ARCHIVE 'file_uri'] ];
file_uri:是hdfs上的jar包目錄
2.2.2 添加jar包的兩種方法
-- hdfs上的根目錄下創建lib文件夾
[hadoop@hadoop002 lib]$ hadoop fs -mkdir /lib
18/06/29 16:39:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop002 lib]$
-- 將jar包上傳到hdfs上的/lib 文件夾下
[hadoop@hadoop002 lib]$ hadoop fs -put /home/hadoop/lib/hive-1.0-SNAPSHOT.jar /lib/
18/06/29 16:40:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop002 lib]$
-- 查看jar
[hadoop@hadoop002 lib]$ hadoop fs -lsr /lib
lsr: DEPRECATED: Please use 'ls -R' instead.
18/06/29 16:40:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r-- 1 hadoop supergroup 3242 2018-06-29 16:40 /lib/hive-1.0-SNAPSHOT.jar
[hadoop@hadoop002 lib]$
2.2.3 創建永久函數:
hive> CREATE FUNCTION sayhello AS 'com.ruozedata.bigdata.HelloUDF' USING JAR 'hdfs://hadoop002:9000/lib/hive-1.0-SNAPSHOT.jar';
converting to local hdfs://hadoop002:9000/lib/hive-1.0-SNAPSHOT.jar
Added [/tmp/22d50f26-5227-479e-9319-cb28985b8f5d_resources/hive-1.0-SNAPSHOT.jar] to class path
Added resources: [hdfs://hadoop002:9000/lib/hive-1.0-SNAPSHOT.jar]
OK
Time taken: 0.207 seconds
hive>
-- 查看函數列表
hive> show functions;
OK
abs
acos
add_months
ruozedata.sayhello
hive>
ruozedata.sayhello函數創建成功。永久函數是已:庫名.函數名的存在,同庫使用的時候可以直接用函數名,不同庫使用的時候需要帶上庫名
-- 測試函數
hive> select sayhello("ruozedata") from dual ;
OK
Hello:ruozedata
Time taken: 0.145 seconds, Fetched: 1 row(s)
hive>
2.2.4 在MySQL庫里面查看函數信息
注意:
臨時函數和永久函數的區別:臨時函數僅對當前session(黑窗口)有效。永久函數是全局的。
以上是“Hive如何自定義函數實現創建臨時函數和永久函數”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注創新互聯行業資訊頻道!
網站題目:Hive如何自定義函數實現創建臨時函數和永久函數
新聞來源:http://m.newbst.com/article42/jeeeec.html
成都網站建設公司_創新互聯,為您提供網站收錄、網站建設、響應式網站、外貿網站建設、網站策劃、微信公眾號
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯