查找引擎的處理對(duì)象是互聯(lián)網(wǎng)網(wǎng)頁(yè)，日前網(wǎng)頁(yè)數(shù)量以百億計(jì)，所以查找引擎首要面對(duì)的問(wèn)題就是：怎么可以規(guī)劃出高效的下載體系，以將如此海量的網(wǎng)頁(yè)數(shù)據(jù)傳送到本地，在本地構(gòu)成互聯(lián)網(wǎng)網(wǎng)頁(yè)的鏡像備份。

網(wǎng)絡(luò)爬蟲(chóng)即起此作用，它是查找引擎體系中很要害也根根底的構(gòu)件。這兒首要介紹與網(wǎng)絡(luò)爬蟲(chóng)相關(guān)的技能，盡管爬蟲(chóng)技能經(jīng)過(guò)幾十年的開(kāi)展，從全體結(jié)構(gòu)上已相對(duì)老練，但隨著聯(lián)網(wǎng)的不斷開(kāi)展，也面對(duì)著一些有挑戰(zhàn)性的新問(wèn)題。

下圖所示是一個(gè)通用的爬蟲(chóng)結(jié)構(gòu)流程。首要從互聯(lián)網(wǎng)頁(yè)面中精心選擇一部分網(wǎng)頁(yè)，以這些網(wǎng)頁(yè)的鏈接地址作為種子URL，將這些種子URL放入待抓取URL行列中，爬蟲(chóng)從待抓取URL行列順次讀取，并將URL經(jīng)過(guò)DNS解析，把鏈接地址轉(zhuǎn)換為網(wǎng)站服務(wù)器對(duì)應(yīng)的IP地址。

然后將其和網(wǎng)頁(yè)相對(duì)路徑名稱(chēng)交給網(wǎng)頁(yè)下載器，網(wǎng)頁(yè)下載器擔(dān)任頁(yè)面內(nèi)容的下載。關(guān)于下載到本地的網(wǎng)頁(yè)，一方面將其存儲(chǔ)到頁(yè)面庫(kù)中，等候樹(shù)立索引等后續(xù)處理;另一方面將下載網(wǎng)頁(yè)的URL放入已抓取URL行列中，這個(gè)行列記載了爬蟲(chóng)體系現(xiàn)已下載過(guò)的網(wǎng)頁(yè)URL，以防止網(wǎng)頁(yè)的重復(fù)抓取。關(guān)于剛下載的網(wǎng)頁(yè)，從中抽取出所包括的一切鏈接信息，并在已抓取URL行列中查看，假如發(fā)現(xiàn)鏈接還沒(méi)有被抓取過(guò)，則將這個(gè)URL放入待抓取URL行列結(jié)尾，在之后的抓取調(diào)度中會(huì)下載這個(gè)URL對(duì)應(yīng)的網(wǎng)頁(yè)。如此這般，構(gòu)成循環(huán)，直到待抓取URL行列為審，這代表著爬蟲(chóng)體系已將可以抓取的網(wǎng)頁(yè)盡數(shù)抓完，此時(shí)完成了一輪完好的抓取進(jìn)程。

關(guān)于爬蟲(chóng)來(lái)說(shuō)，往往還需求進(jìn)行網(wǎng)頁(yè)去重及網(wǎng)頁(yè)反作弊。

上述是一個(gè)通用爬蟲(chóng)的全體流程，假如從更加微觀的視點(diǎn)考慮，處于動(dòng)態(tài)抓取進(jìn)程中的爬蟲(chóng)和互聯(lián)網(wǎng)一切網(wǎng)頁(yè)之間的聯(lián)系，可以大致像如圖2-2所身那樣，將互聯(lián)網(wǎng)頁(yè)面劃分為5個(gè)部分：

1.已下載網(wǎng)頁(yè)調(diào)集：爬蟲(chóng)現(xiàn)已從互聯(lián)網(wǎng)下載到本地進(jìn)行索引的網(wǎng)頁(yè)調(diào)集。

2.已過(guò)期網(wǎng)頁(yè)調(diào)集：由于網(wǎng)頁(yè)數(shù)最巨大，爬蟲(chóng)完好抓取一輪需求較長(zhǎng)時(shí)刻，在抓取進(jìn)程中，許多現(xiàn)已下載的網(wǎng)頁(yè)可能過(guò)期。之所以如此，是由于互聯(lián)網(wǎng)網(wǎng)頁(yè)處于不斷的動(dòng)態(tài)改變進(jìn)程中，所以易發(fā)生本地網(wǎng)頁(yè)內(nèi)容和真實(shí)互聯(lián)網(wǎng)網(wǎng)頁(yè)不一致的狀況。

3.待下載網(wǎng)頁(yè)調(diào)集：即處于上圖中待抓取URL行列中的網(wǎng)頁(yè)，這些網(wǎng)頁(yè)即將被爬蟲(chóng)下載。

4.可知網(wǎng)頁(yè)調(diào)集：這些網(wǎng)頁(yè)還沒(méi)有被爬蟲(chóng)下載，也沒(méi)有出現(xiàn)在待抓取URL行列中，不過(guò)經(jīng)過(guò)現(xiàn)已抓取的網(wǎng)頁(yè)或許在待抓取URL行列中的網(wǎng)頁(yè)，總足可以經(jīng)過(guò)鏈接聯(lián)系發(fā)現(xiàn)它們，稍晚時(shí)分會(huì)被爬蟲(chóng)抓取并索引。

5.不可知網(wǎng)頁(yè)調(diào)集：有些網(wǎng)頁(yè)關(guān)于爬蟲(chóng)來(lái)說(shuō)是無(wú)法抓取到的，這部分網(wǎng)頁(yè)構(gòu)成了不可知網(wǎng)頁(yè)調(diào)集。事實(shí)上，這部分網(wǎng)頁(yè)所占的份額很高。

根據(jù)不同的使用，爬蟲(chóng)體系在許多方面存在差異，大體而言，可以將爬蟲(chóng)劃分為如下三種類(lèi)型:

1. 批量型爬蟲(chóng)（Batch Crawler）：批量型爬蟲(chóng)有比較清晰的抓取規(guī)模和方針，當(dāng)爬蟲(chóng)到達(dá)這個(gè)設(shè)定的方針后，即停止抓取進(jìn)程。至于詳細(xì)方針可能各異，也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁(yè)即可，也許是設(shè)定抓取耗費(fèi)的時(shí)刻等。

2.增量型爬蟲(chóng)（Incremental Crawler）：增量型爬蟲(chóng)與批量型爬蟲(chóng)不同，會(huì)堅(jiān)持繼續(xù)不斷的抓取，關(guān)于抓取到的網(wǎng)頁(yè)，要定時(shí)更新，由于互聯(lián)網(wǎng)的網(wǎng)頁(yè)處于不斷改變中，新增網(wǎng)頁(yè)、網(wǎng)頁(yè)被刪去或許網(wǎng)頁(yè)內(nèi)容更改都很常見(jiàn)，而增量型爬蟲(chóng)需求及時(shí)反映這種改變，所以處于繼續(xù)不斷的抓取進(jìn)程中，不是在抓取新網(wǎng)頁(yè)，就是在更新已有網(wǎng)頁(yè)。通用的商業(yè)查找引擎爬蟲(chóng)根本都屬此類(lèi)。

3.筆直型爬蟲(chóng)(Focused Crawter）：筆直型爬蟲(chóng)重視特定主題內(nèi)容或許歸于特定職業(yè)的網(wǎng)頁(yè)，比方關(guān)于健康網(wǎng)站來(lái)說(shuō)，只需求從互聯(lián)網(wǎng)頁(yè)而里找到與健康相關(guān)的頁(yè)面內(nèi)容即可，其他職業(yè)的內(nèi)容不在考慮規(guī)模。筆直型爬蟲(chóng)一個(gè)最大的特色和難點(diǎn)就是：怎么辨認(rèn)網(wǎng)頁(yè)內(nèi)容是否歸于指定職業(yè)或許主題。從節(jié)約體系資源的視點(diǎn)來(lái)說(shuō)，不太可能把一切互聯(lián)網(wǎng)頁(yè)面下載下來(lái)之后再去挑選，這樣浪費(fèi)資源就過(guò)分分了，往往需求爬蟲(chóng)在抓取階段就可以動(dòng)態(tài)辨認(rèn)某個(gè)網(wǎng)址是否與主題相關(guān)，并盡量不去抓墩無(wú)關(guān)頁(yè)面，以到達(dá)節(jié)約資源的意圖。筆直查找網(wǎng)站或許筆直職業(yè)網(wǎng)站往往需求此種類(lèi)型的爬蟲(chóng)。