2.2.1 匍匐與索引

為了提供盡可能好的成果，查找引擎企圖發(fā)現(xiàn)萬維網(wǎng)上一切公開的網(wǎng)頁，然后顯現(xiàn)與用戶查找查詢最匹配的成果。這一進(jìn)程的第一步是Web匍匐。查找引擎從一組眾所周知的高質(zhì)量網(wǎng)站開端，然后訪問這些網(wǎng)站每個頁面上的鏈接，以發(fā)現(xiàn)其他網(wǎng)頁。

Web的鏈接結(jié)構(gòu)將一切公共的網(wǎng)頁聯(lián)絡(luò)在一起。經(jīng)過鏈接，查找引擎的自動機器人（稱作匍匐器或許蜘蛛）能夠接觸到數(shù)以億計相互連接的文檔。

然后，查找引擎加載其他頁面并剖析其內(nèi)容。這一個進(jìn)程不斷重復(fù)直到匍匐進(jìn)程完結(jié)。因為Web巨大而雜亂，因此匍匐進(jìn)程的雜亂度極高。

查找引擎并不是每天都企圖匍匐整個Web.實際上，查找引擎能夠發(fā)現(xiàn)有些頁面的重要性不足以出現(xiàn)在查找引擎中，然后不對這些頁面進(jìn)行匍匐。下一節(jié)將評論重要性所起的效果。

一旦查找引擎在匍匐中讀取一個頁面，其下一步作業(yè)就是解析它們的代碼，并將頁面中精選的部分存放在大型磁盤陣列里，以便在查詢時調(diào)用。這一進(jìn)程的第一步是樹立要害詞詞典。要害詞詞典是分類查找引擎匍匐得來的每個頁面上一切重要要害詞的大型數(shù)據(jù)庫。其他一些數(shù)據(jù)（如頁面鏈接地圖、鏈接的錨文本、鏈接是否被當(dāng)作廣告等）也記載在內(nèi)。存儲瞬間內(nèi)就能訪問到的數(shù)千億（甚至萬億）個網(wǎng)頁的信息是極端深重的使命，為此查找引擎樹立了許多大型的數(shù)據(jù)中心。

構(gòu)建查找引擎的要害概念之一是斷定從Web的哪個方位開端匍匐。雖然從理論上講，能夠從許多不同的當(dāng)?shù)亻_端，可是最理想的情況仍是從一組信任的網(wǎng)站開端匍匐。

從已知可信的一組網(wǎng)站開端，查找引擎就能衡量經(jīng)過匍匐進(jìn)程找到的其他網(wǎng)站的可信度。7.1節(jié)將更具體地評論可信度在查找算法中所起的效果。