執(zhí)行從MySQL數(shù)據(jù)庫導(dǎo)出數(shù)據(jù)到HDFS上。

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比鹿邑網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式鹿邑網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋鹿邑地區(qū)。費(fèi)用合理售后完善，十余年實體公司更值得信賴。

執(zhí)行前需準(zhǔn)備：

在eclipse中寫的代碼，所以，又新加了sqoop-1.4.6-cdh6.5.2.jar放入原有的hadoop項目中，否則會有編譯錯誤。

同時，在集群上，將此包加入HADOOP_HOME/share/hadoop/yarn下，否則會報缺少Jar包的錯誤。

錯誤顯示：

[hadoop@fa01 ~]$ hadoop jar SqoopTest1.jar

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/util/OptionsFileUtil

代碼：

import org.apache.hadoop.conf.Configuration;

import org.apache.sqoop.Sqoop;

import org.apache.sqoop.tool.SqoopTool;

import org.apache.sqoop.util.OptionsFileUtil;

public class SqoopTest1 {

private static int importDataFromMysql() throws Exception {

String[] args = new String[] {

//參數(shù)可以繼續(xù)添加

"--connect", "jdbc:mysql://192.20.1.54:3306/tbname_test",

"--driver", "com.mysql.jdbc.Driver",

"--username", "username",

"--password", "123456",

"--table", "abtest_data",

"-m", "1",

"--target-dir", "/user/hadoop/java_sqoop_test1"

};

String[] expandArguments = OptionsFileUtil.expandArguments(args);

SqoopTool tool = SqoopTool.getTool("import");

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://192.168.20.32:9000");

Configuration loadPlugins = SqoopTool.loadPlugins(conf);

Sqoop sqoop = new Sqoop((com.cloudera.sqoop.tool.SqoopTool) tool, loadPlugins);

return Sqoop.runSqoop(sqoop, expandArguments);

}

public static void main(String[] args) throws Exception {

importDataFromMysql();

}

}

參考：

http://blog.csdn.net/shantaodaoshik852/article/details/77266831

http://blog.csdn.net/guzicheng/article/details/41519947

網(wǎng)頁題目：Java代碼執(zhí)行sqoop抽取動作
轉(zhuǎn)載來于：http://m.newbst.com/article34/gciepe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、電子商務(wù)、網(wǎng)站制作、網(wǎng)頁設(shè)計公司、外貿(mào)網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)