一個網(wǎng)站，能夠有robots.txt，也能夠沒有。但是如果要有，那就必須做的規(guī)范，下面就個人經(jīng)驗來說下robots.txt的制作方法。

　　robots.txt文件指令包含：

　　Disallow - 告知蜘蛛不要抓取某些文件或目錄。如下面代碼將阻止蜘蛛抓取一切的網(wǎng)站文件：

　　User-agent: *

　　Disallow: /

　　Allow - 告知蜘蛛應(yīng)該抓取某些文件。Allow和Disallow配合運(yùn)用，能夠告知蜘蛛某個目錄下，大部分都不抓取，只抓取一部分。如下面代碼將使蜘蛛不抓取ab目錄下其他文件，而只抓取其中cd下的文件：

　　User-agent: *

　　Disallow: /ab/

　　Allow: /ab/cd

　　$通配符 - 匹配URL結(jié)束的字符。如下面代碼將答應(yīng)蜘蛛拜訪以.htm為后綴的URL：

　　User-agent: *

　　Allow: .htm$

　　*通配符 - 告知蜘蛛匹配任意一段字符。如下面一段代碼將制止蜘蛛抓取一切htm文件：

　　User-agent: *

　　Disallow: /*.htm

　　Sitemaps位置 - 告知蜘蛛你的網(wǎng)站地圖在哪里，格局為：

　　Sitemap:

　　三家都支撐的Meta標(biāo)簽包含：

　　NOINDEX - 告知蜘蛛不要索引某個網(wǎng)頁。

　　NOFOLLOW - 告知蜘蛛不要跟蹤網(wǎng)頁上的鏈接。

　　NOSNIPPET - 告知蜘蛛不要在查找成果中顯現(xiàn)闡明文字。

　　NOARCHIVE - 告知蜘蛛不要顯現(xiàn)快照。

　　NOODP - 告知蜘蛛不要運(yùn)用開放目錄中的標(biāo)題和闡明。

　　上面這些記載或標(biāo)簽，現(xiàn)在三家都共同支撐。其中通配符好像曾經(jīng)雅虎微軟并不支撐。百度現(xiàn)在也支撐Disallow，Allow及兩種通配符。Meta標(biāo)簽我沒有找到百度是否支撐的官方闡明。

　　只要Google支撐的Meta標(biāo)簽有：

　　UNAVAILABLE_AFTER - 告知蜘蛛網(wǎng)頁什么時分過期。在這個日期之后，不該該再出現(xiàn)在查找成果中。

　　NOIMAGEINDEX - 告知蜘蛛不要索引頁面上的圖片。

　　NOTRANSLATE - 告知蜘蛛不要翻譯頁面內(nèi)容。

　　雅虎還支撐Meta標(biāo)簽：

　　Crawl-Delay - 答應(yīng)蜘蛛延時抓取的頻率。

　　NOYDIR - 和NOODP標(biāo)簽類似，但是指雅虎目錄，而不是開放目錄。

　　Robots-nocontent - 告知蜘蛛被標(biāo)注的部分html不是網(wǎng)頁內(nèi)容的一部分，或許換個角度，告知蜘蛛哪些部分是頁面的主要內(nèi)容(想被檢索的內(nèi)容)。

　　MSN還支撐Meta標(biāo)簽：

　　Crawl-Delay

　　別的提醒我們留意的是，回來404過錯的時分，意味著答應(yīng)蜘蛛抓取一切內(nèi)容。但抓取robots.txt文件時卻產(chǎn)生超時之類的過錯，或許導(dǎo)致查找引擎不錄入網(wǎng)站，因為蜘蛛不知道robots.txt文件是否存在或許里邊有什么內(nèi)容，這與確認(rèn)文件不存在是不一樣的。總之，正確制作 robots.txt 文件能夠幫助網(wǎng)站更好地與搜索引擎配合，實現(xiàn)內(nèi)容合理展示與隱私、資源等方面的有效管理。