怎樣用php 采集百度地圖的數(shù)據(jù)

一般來說，PHP采集數(shù)據(jù)最簡(jiǎn)單的辦法是使用file_get_content函數(shù)，功能更強(qiáng)大的推薦使用cURL函數(shù)庫。

專注于為中小企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、成都外貿(mào)網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)金秀免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了1000多家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

怎么用php采集網(wǎng)站數(shù)據(jù)

簡(jiǎn)單的分了幾個(gè)步驟：

1、確定采集目標(biāo)

2、獲取目標(biāo)遠(yuǎn)程頁面內(nèi)容（curl、file_get_contents）

3、分析頁面html源碼，正則匹配你需要的內(nèi)容（preg_match、preg_match_all），這一步最為重要，不同頁面正則匹配規(guī)則不一樣

4、入庫

php 百度 知道數(shù)據(jù)采集

問題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：

1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。

當(dāng)然這個(gè)是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。

4.寫入數(shù)據(jù)庫。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁面，可能會(huì)被禁止。

建議也就抓10頁數(shù)據(jù)。

其實(shí)不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫。

php curl 大量數(shù)據(jù)采集

這個(gè)需要配合js，打開一個(gè)html頁面，首先js用ajax請(qǐng)求頁面，返回第一個(gè)頁面信息確定處理完畢（ajax有強(qiáng)制同步功能），ajax再訪問第二個(gè)頁面。（或者根據(jù)服務(wù)器狀況，你可以同時(shí)提交幾個(gè)URL，跑幾個(gè)相同的頁面）

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺(tái)頁面根據(jù)URL抓頁面。然后ajax通過php，在數(shù)據(jù)庫或者是哪里設(shè)一個(gè)標(biāo)量，標(biāo)明檢測(cè)到哪里。由于前臺(tái)的html頁面執(zhí)行多少時(shí)候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時(shí)間限制就解決了。

因?yàn)椴粫?huì)浪費(fèi)大量的資源用一個(gè)頁面來跑一個(gè)瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過了php限制的內(nèi)存）

不過印象中curl好像也有強(qiáng)制同步的選項(xiàng)，就是等待一個(gè)抓取后再執(zhí)行下一步。但是這個(gè)500次都是用一個(gè)頁面線程處理，也就是說肯定會(huì)遠(yuǎn)遠(yuǎn)大于30秒的默認(rèn)執(zhí)行時(shí)間。

網(wǎng)站欄目：php采集美圖數(shù)據(jù) php自動(dòng)采集如何實(shí)現(xiàn)
轉(zhuǎn)載來于：http://m.newbst.com/article40/dopjiho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)公司、動(dòng)態(tài)網(wǎng)站、全網(wǎng)營(yíng)銷推廣、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)