PHP 數(shù)據(jù)采集太慢

song0426love 2013-03-27 01:22:13 324 瀏覽

程序的思路是打開(kāi)網(wǎng)頁(yè)然后正則表達(dá)式匹配，提取有用內(nèi)容但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？... 程序的思路是打開(kāi)網(wǎng)頁(yè) 然后正則表達(dá)式匹配，提取有用內(nèi)容但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？展開(kāi)

參與評(píng)論

評(píng)論

登錄后參與評(píng)論

全部評(píng)論(2條)

豆豆醬999959 2013-03-28 00:00:00

你用的什么？curl？

贊(16)

回復(fù)(0)

評(píng)論

評(píng)論
登錄后參與評(píng)論
jinjing_197201 2013-03-28 00:00:00

一頁(yè)一頁(yè)采啊，你要是想把N個(gè)網(wǎng)頁(yè)一下子采下來(lái)，在瀏覽器中肯定不行，你可以用php.exe在命令行下運(yùn)行你的采集腳本。如果你想在瀏覽器上采，你得一次采集一個(gè)頁(yè)面，然后用window.location.href轉(zhuǎn)向，把下一個(gè)要采集的地址傳過(guò)去，這樣一頁(yè)一頁(yè)的循環(huán)來(lái)采集。

贊(8)

回復(fù)(0)

評(píng)論

評(píng)論
登錄后參與評(píng)論

熱門(mén)問(wèn)答

PHP 數(shù)據(jù)采集太慢: 程序的思路是打開(kāi)網(wǎng)頁(yè)然后正則表達(dá)式匹配，提取有用內(nèi)容但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？... 程序的思路是打開(kāi)網(wǎng)頁(yè) 然后正則表達(dá)式匹配，提取有用內(nèi)容但是由于網(wǎng)頁(yè)很多，導(dǎo)致數(shù)據(jù)采集非常慢，如何能改進(jìn)？網(wǎng)上的那些數(shù)據(jù)采集器是什么原理？展開(kāi)

php curl 大量數(shù)據(jù)采集: phpcurl大量數(shù)據(jù)采集時(shí)比如有500個(gè)頁(yè)面我是用FOR循環(huán)的方法但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了請(qǐng)問(wèn)有其它方法嗎？能不間斷的批量采集呢？... php curl 大量數(shù)據(jù)采集時(shí) 比如有500個(gè)頁(yè)面我是用FOR 循環(huán)的方法但是當(dāng)頁(yè)面特別多時(shí)，F(xiàn)OR就打不開(kāi)了請(qǐng)問(wèn)有其它方法嗎？能不間斷的批量采集呢？展開(kāi)

如何把a(bǔ)sp網(wǎng)站的數(shù)據(jù)采集到php網(wǎng)站中: 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級(jí)成php開(kāi)發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中... 之前的網(wǎng)站是用asp做的，現(xiàn)在想要把網(wǎng)站升級(jí)成php開(kāi)發(fā)的，之前網(wǎng)站里面的新聞列表如何能采集到php網(wǎng)站中展開(kāi)

布氏漏斗過(guò)濾太慢問(wèn)題布氏漏斗過(guò)濾太慢，請(qǐng)問(wèn)各位大俠:

電信網(wǎng)速太慢怎么辦:

手機(jī)網(wǎng)速太慢怎么辦?:

環(huán)氧樹(shù)脂固化太慢怎么辦:

馬弗爐升溫太慢可能是什么原因:

什么叫php架構(gòu)？:

真空鍍膜機(jī)高真空太慢是什么原因:

PHP PAC PAFC分別是什么:

封裝繼承多肽什么意思 php:

真空鍍膜機(jī)精抽太慢的原因:

怎樣運(yùn)行simpletest測(cè)試php類(lèi):

PHP進(jìn)銷(xiāo)存軟件數(shù)據(jù)庫(kù)的設(shè)計(jì)問(wèn)題？: 如題，我想開(kāi)發(fā)一個(gè)PHP的進(jìn)銷(xiāo)存軟件，現(xiàn)在遇到一個(gè)問(wèn)題想不通問(wèn)題如下：1.錄入表單把數(shù)據(jù)寫(xiě)到數(shù)據(jù)庫(kù)中，然后保存該記錄為錄入2.統(tǒng)計(jì)表統(tǒng)計(jì)已經(jīng)錄入的問(wèn)題來(lái)了，加入統(tǒng)計(jì)表中已有數(shù)據(jù)例... 如題，我想開(kāi)發(fā)一個(gè)PHP的進(jìn)銷(xiāo)存軟件，現(xiàn)在遇到一個(gè)問(wèn)題想不通問(wèn)題如下： 1.錄入表單把數(shù)據(jù)寫(xiě)到數(shù)據(jù)庫(kù)中，然后保存該記錄為錄入 2.統(tǒng)計(jì)表統(tǒng)計(jì)已經(jīng)錄入的問(wèn)題來(lái)了，加入統(tǒng)計(jì)表中已有數(shù)據(jù)例如商品名稱(chēng) 規(guī)格數(shù)量價(jià)格合計(jì) 鉛筆支 3 1.5 4.5 再錄入商品名稱(chēng) 規(guī)格數(shù)量價(jià)格合計(jì) 鉛筆支 10 1.5 15 我要怎么做才能讓統(tǒng)計(jì)表中的數(shù)據(jù)自動(dòng)添加為正確的數(shù)據(jù)，就是自動(dòng)更新錄入的數(shù)據(jù)，而不是覆蓋原數(shù)據(jù) 2.領(lǐng)用表假如領(lǐng)用了3支鉛筆，怎么做才能從統(tǒng)計(jì)表中扣除呢？大概能想到的就這些展開(kāi)

PHP 實(shí)現(xiàn)一個(gè)合理分配功能: 1、把人員分成20組2、5個(gè)實(shí)驗(yàn)臺(tái)1實(shí)驗(yàn)臺(tái)需要2小時(shí)2實(shí)驗(yàn)臺(tái)需要3小時(shí)3實(shí)驗(yàn)臺(tái)需要4小時(shí)4實(shí)驗(yàn)臺(tái)需要1小時(shí)5實(shí)驗(yàn)臺(tái)需要5小時(shí)3、每個(gè)實(shí)驗(yàn)臺(tái)每個(gè)小組必須都做一遍。4、一天做不完，可以推到第二... 1、把人員分成 20組 2、5個(gè)實(shí)驗(yàn)臺(tái) 1 實(shí)驗(yàn)臺(tái)需要2小時(shí) 2 實(shí)驗(yàn)臺(tái)需要 3小時(shí) 3 實(shí)驗(yàn)臺(tái)需要 4小時(shí) 4 實(shí)驗(yàn)臺(tái)需要 1小時(shí) 5 實(shí)驗(yàn)臺(tái)需要 5小時(shí) 3、每個(gè)實(shí)驗(yàn)臺(tái) 每個(gè)小組必須都做一遍。 4、一天做不完，可以推到第二天，第二天完不成可以再推等等 5、diyi小組占用實(shí)驗(yàn)臺(tái) ，第二小組可以選擇別的實(shí)驗(yàn)臺(tái)，第三小組等等類(lèi)推 6、假設(shè) 2017-11-1日開(kāi)始假如上午8點(diǎn)開(kāi)始 12點(diǎn)結(jié)束假如下午13點(diǎn)開(kāi)始 18點(diǎn)結(jié)束結(jié)果模擬 diyi小組 diyi天 diyi小組第二天 1實(shí)驗(yàn)臺(tái) 8點(diǎn)-10點(diǎn) 3實(shí)驗(yàn)臺(tái) 4實(shí)驗(yàn)臺(tái) 10點(diǎn)-11點(diǎn) 4實(shí)驗(yàn)臺(tái) 5實(shí)驗(yàn)臺(tái) 13點(diǎn)-18點(diǎn) 第二小組第二小組第二天 2實(shí)驗(yàn)臺(tái) 8-11 1實(shí)驗(yàn) 4實(shí)驗(yàn)臺(tái) 11-12 5實(shí)驗(yàn) 3實(shí)驗(yàn)臺(tái) 13-17 第三小組等等如何實(shí)現(xiàn)求助怎么實(shí)現(xiàn)算法。求助第三小組展開(kāi)