淺談robots.txt文件的一些用法

發(fā)布時(shí)間：2012-12-19 來(lái)源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：582次

搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪問一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。也就是說蜘蛛文件是百度根據(jù)站長(zhǎng)的意愿對(duì)網(wǎng)站進(jìn)行抓取。robots.txt應(yīng)該放置在網(wǎng)站的根目錄下面，假如說文件里面禁止百度蜘蛛爬去那么網(wǎng)站不會(huì)被收錄，但是有的人會(huì)問我的蜘蛛文件里面明明已經(jīng)寫了禁止訪問的代碼為什么網(wǎng)站還會(huì)被在網(wǎng)頁(yè)上顯示呢，網(wǎng)頁(yè)上的內(nèi)容不會(huì)被抓取、建入索引和顯示，百度搜索結(jié)果中展示的僅是其他網(wǎng)站對(duì)您相關(guān)網(wǎng)頁(yè)的描述。假如說您不想讓百度在搜索結(jié)果中顯示網(wǎng)頁(yè)快照，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的<HEAD>部分：<meta name="robots" content="noarchive">此標(biāo)記只是禁止百度顯示該網(wǎng)頁(yè)的快照，百度會(huì)繼續(xù)為網(wǎng)頁(yè)建索引，并在搜索結(jié)果中顯示網(wǎng)頁(yè)摘要。。