robots協(xié)議:robots.txt是搜索引擎訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)要訪(fǎng)問(wèn)的第一個(gè)文件,用以來(lái)確定哪些是被允許抓取的哪些是被禁止抓取的。robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫(xiě)。詳細(xì)的robots.txt寫(xiě)法可參考http://www.robotstxt.org。
百度嚴(yán)格按照robots協(xié)議執(zhí)行,另外,同樣支持網(wǎng)頁(yè)內(nèi)容中添加的名為robots的meta標(biāo)簽,index、follow、nofollow等指令。