1、思路:
成都創(chuàng)新互聯(lián)公司專業(yè)成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站,集網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作于一體,網(wǎng)站seo、網(wǎng)站優(yōu)化、網(wǎng)站營(yíng)銷、軟文平臺(tái)等專業(yè)人才根據(jù)搜索規(guī)律編程設(shè)計(jì),讓網(wǎng)站在運(yùn)行后,在搜索中有好的表現(xiàn),專業(yè)設(shè)計(jì)制作為您帶來(lái)效益的網(wǎng)站!讓網(wǎng)站建設(shè)為您創(chuàng)造效益。
明確需要爬取的信息
分析網(wǎng)頁(yè)結(jié)構(gòu)
分析爬取流程
優(yōu)化
2、明確需要爬取的信息
職位名稱
工資
職位描述
公司名稱
公司主頁(yè)
詳情網(wǎng)頁(yè)
分析網(wǎng)頁(yè)結(jié)構(gòu)
3、目標(biāo)網(wǎng)站-拉勾網(wǎng)
網(wǎng)站使用json作為交互數(shù)據(jù),分析json數(shù)據(jù),需要的json關(guān)鍵數(shù)據(jù)
查看需要的信息所在的位置,使用Jsoup來(lái)解析網(wǎng)頁(yè)
4、分析爬取流程
1.獲取所有的positionId生成詳情頁(yè),存放在一個(gè)存放網(wǎng)址列表中ListString joburls
2.獲取每個(gè)詳情頁(yè)并解析為Job類,得到一個(gè)存放Job類的列表ListJob jobList
3.把ListJob jobList存進(jìn)Excel表格中
Java操作Excel需要用到j(luò)xl
5、關(guān)鍵代碼實(shí)現(xiàn)
public ListString getJobUrls(String gj,String city,String kd){
String pre_url="";
String end_url=".html";
String url;
if (gj.equals("")){
url=";city="+city+"needAddtionalResult=falsefirst=falsepn="+pn+"kd="+kd;
}else {
url=""+gj+"px=defaultcity="+city+"needAddtionalResult=falsefirst=falsepn="+pn+"kd="+kd;
}
String rs=getJson(url);
System.out.println(rs);
int total= JsonPath.read(rs,"$.content.positionResult.totalCount");//獲取總數(shù)
int pagesize=total/15;
if (pagesize=30){
pagesize=30;
}
System.out.println(total);
// System.out.println(rs);
ListInteger posid=JsonPath.read(rs,"$.content.positionResult.result[*].positionId");//獲取網(wǎng)頁(yè)id
for (int j=1;j=pagesize;j++){ //獲取所有的網(wǎng)頁(yè)id
pn++; //更新頁(yè)數(shù)
url=""+gj+"px=defaultcity="+city+"needAddtionalResult=falsefirst=falsepn="+pn+"kd="+kd;
String rs2=getJson(url);
ListInteger posid2=JsonPath.read(rs2,"$.content.positionResult.result[*].positionId");
posid.addAll(posid2); //添加解析的id到第一個(gè)list
}
ListString joburls=new ArrayList();
//生成網(wǎng)頁(yè)列表
for (int id:posid){
String url3=pre_url+id+end_url;
joburls.add(url3);
}
return joburls;
}
public Job getJob(String url){ //獲取工作信息
Job job=new Job();
Document document= null;
document = Jsoup.parse(getJson(url));
job.setJobname(document.select(".name").text());
job.setSalary(document.select(".salary").text());
String joball=HtmlTool.tag(document.select(".job_bt").select("div").html());//清除html標(biāo)簽
job.setJobdesc(joball);//職位描述包含要求
job.setCompany(document.select(".b2").attr("alt"));
Elements elements=document.select(".c_feature");
//System.out.println(document.select(".name").text());
job.setCompanysite(elements.select("a").attr("href")); //獲取公司主頁(yè)
job.setJobdsite(url);
return job;
}
void insertExcel(ListJob jobList) throws IOException, BiffException, WriteException {
int row=1;
Workbook wb = Workbook.getWorkbook(new File(JobCondition.filename));
WritableWorkbook book = Workbook.createWorkbook(new File(JobCondition.filename), wb);
WritableSheet sheet=book.getSheet(0);
for (int i=0;ijobList.size();i++){ //遍歷工作列表,一行行插入到表格中
sheet.addCell(new Label(0,row,jobList.get(i).getJobname()));
sheet.addCell(new Label(1,row,jobList.get(i).getSalary()));
sheet.addCell(new Label(2,row,jobList.get(i).getJobdesc()));
sheet.addCell(new Label(3,row,jobList.get(i).getCompany()));
sheet.addCell(new Label(4,row,jobList.get(i).getCompanysite()));
sheet.addCell(new Label(5,row,jobList.get(i).getJobdsite()));
row++;
}
book.write();
book.close();
}
一般我們說(shuō)自定義標(biāo)簽是指JSP自定義標(biāo)簽。自定義標(biāo)簽在功能上邏輯上與javaBean 類似,都封裝Java 代碼。自定義標(biāo)簽是可重用的組件代碼,并且允許開(kāi)發(fā)人員為復(fù)雜的操作提供邏輯名稱。 JSP開(kāi)發(fā)人員使用標(biāo)簽庫(kù)創(chuàng)建標(biāo)簽.標(biāo)簽庫(kù)是按照功能或?qū)崿F(xiàn)進(jìn)行分...
招java的網(wǎng)站有很多,
智聯(lián)
,
前程無(wú)憂
都可以。不過(guò)專門(mén)做程序員招聘服務(wù)的三顧人才還可以,沒(méi)有智聯(lián)那么有名,但是有自己的特色,
免費(fèi)服務(wù)
,面試機(jī)會(huì)多。
標(biāo)題名稱:招聘網(wǎng)站java代碼 java招聘app
標(biāo)題鏈接:http://m.newbst.com/article32/dopjopc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動(dòng)網(wǎng)站建設(shè)、定制開(kāi)發(fā)、營(yíng)銷型網(wǎng)站建設(shè)、App設(shè)計(jì)、云服務(wù)器、App開(kāi)發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)