Robotstxt的設(shè)置十分簡(jiǎn)潔，如果希望對(duì)所有網(wǎng)絡(luò)蜘蛛無(wú)特定限制，可以寫為UseragentDisallow盡管Robotstxt是一種協(xié)議，但并非所有網(wǎng)絡(luò)蜘蛛都會(huì)嚴(yán)格遵循不過(guò)，大部分蜘蛛會(huì)遵守，同時(shí)，管理員還可以通過(guò)其他方法來(lái)限制特定頁(yè)面的抓取在下載網(wǎng)頁(yè)的過(guò)程中，網(wǎng)絡(luò)蜘蛛會(huì)解析HTML代碼，尋找名為META的標(biāo)識(shí)；比如，要啟用一個(gè)新的域名做鏡像網(wǎng)站，主要用于PPC 的推廣，這個(gè)時(shí)候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁(yè)因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話，很有可能會(huì)影響官網(wǎng)在搜索引擎的權(quán)重以下列舉了屏蔽主流搜索引擎爬蟲(chóng)蜘蛛抓取索引收錄網(wǎng)頁(yè)的幾種思路注意是整站屏蔽，而且。

方法一1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁(yè)面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過(guò)使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示方法二1 通過(guò)使用htaccess，將下圖紅框所圈代碼屏蔽2 然后再；3聯(lián)系百度管理人員，信箱地址為webmaster@baiducom，用網(wǎng)站聯(lián)系人信箱發(fā)電郵，如實(shí)說(shuō)明刪除網(wǎng)頁(yè)快照的情況，經(jīng)百度核實(shí)后，網(wǎng)頁(yè)停止收錄抓取4登陸百度自己的“百度快照”帖吧和“百度投訴”帖吧，發(fā)個(gè)帖子，表明刪除網(wǎng)頁(yè)收錄網(wǎng)站快照的原因，當(dāng)百度管理人員，看到會(huì)給予處理如何禁止Google搜索引擎收錄。

在網(wǎng)站的根目錄下上傳robots文件禁止百度抓取網(wǎng)站所有頁(yè)面robots文件的寫法新建一個(gè)TXT文檔，命名為robots，雙擊打開(kāi)，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取，如果是不希望所有的搜索引擎比如還有360，搜狗，谷歌等抓取，可把Baiduspider。

禁止蜘蛛抓取的代碼

屏閉蜘蛛的代碼 一般用在robots文件中，提示蜘蛛，網(wǎng)站哪些需些抓取，哪些禁止蜘蛛抓取意思是禁止任何蜘蛛抓取該網(wǎng)站的任何目錄。

沒(méi)有針對(duì)搜索引擎的屏蔽代碼如果不想網(wǎng)站內(nèi)容被搜索引擎抓取就在網(wǎng)站根目錄建立一個(gè)robotstxt文件內(nèi)容填寫為UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把這個(gè)文件放入根目錄，搜索引擎會(huì)遵循協(xié)議，不再去抓取網(wǎng)站的內(nèi)容了。

若不希望在網(wǎng)站日志中出現(xiàn)MJ12bot蜘蛛的訪問(wèn)記錄，可直接在robotstxt文件中將其屏蔽由于MJ12bot蜘蛛遵循robots協(xié)議，此操作即可實(shí)現(xiàn)對(duì)其的屏蔽屏蔽代碼如下。

用nofollow 就可以Nofollow的寫法有以下兩種1在meta中定義，如果在meta中定義Nofollow的話，則搜索引擎不會(huì)跟蹤該頁(yè)面的所有鏈接語(yǔ)法為 表示 禁止抓取本頁(yè)，同時(shí)禁止跟蹤本頁(yè)中的鏈接還有其他的寫法 aindex，follow允許抓取本頁(yè)，允許跟蹤鏈接 bindex，nofollow允許抓取本頁(yè)，但禁止跟蹤。

robots協(xié)議語(yǔ)法由三個(gè)部分構(gòu)成UseragentDisallowAllowUseragent定義了執(zhí)行特定協(xié)議的搜索引擎，例如百度的Useragent設(shè)為baiduspider*號(hào)則表示適用于所有搜索引擎，其代碼為Useragent *Disallow用于指示禁止爬蟲(chóng)抓取的特定鏈接，如Disallow a 表示禁止抓取以a 開(kāi)頭的鏈接Allow則表示允許。

Disallowadmin 禁止蜘蛛爬取admin目錄Allowadminabchtml“” 表示根目錄下，允許蜘蛛爬去admin目錄中的abchtml頁(yè)面兩個(gè)通配符匹配符”$”和 “*”通配符匹配URL結(jié)尾的字符 * 通配符匹配0個(gè)或多個(gè)任意字符例子1允許所有搜索引擎蜘蛛抓取以某個(gè)擴(kuò)展名為后綴的網(wǎng)頁(yè)地址，代碼如下。

禁止蜘蛛爬php文件

搜索引擎蜘蛛訪問(wèn)網(wǎng)站時(shí)，會(huì)先查看網(wǎng)站根目錄下有沒(méi)有一個(gè)命名為robotstxt的純文本文件，它用于指令搜索引擎禁止抓取網(wǎng)站的某些內(nèi)容或指定允許抓取的某些內(nèi)容記錄格式為lt域lt可選空格lt域值lt可選空格 例UseragentDisallow abcd Allow abef 說(shuō)明第一行指定下面的規(guī)則適用于。

Disallow 目錄名字 說(shuō)明這里設(shè)定禁止蜘蛛抓取的目錄名稱例如，想禁目Msn蜘蛛抓取admin文件夾，可以設(shè)代碼如下Useragent Msnbot Disallow admin 五設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow *htm 說(shuō)明其中“htm”，表示禁止搜索引擎蜘蛛抓取。

二在模版的headerphp的文件時(shí)添加一段代碼，因?yàn)橹┲雭?lái)到你的網(wǎng)站是由上到下訪問(wèn)的，所以剛開(kāi)始訪問(wèn)到的肯定是從headerlt頂部開(kāi)始抓取所以如果我們?cè)陧敳坷镌O(shè)置好屏蔽蜘蛛的訪問(wèn)代碼后，蜘蛛也會(huì)跟第一條一樣遵守協(xié)議返回屏蔽蜘蛛訪問(wèn)代碼如下 通過(guò)以上兩種方法的話，我們基本上可以屏蔽搜索引擎蜘。

百度爬蟲(chóng)爬到的是你在瀏覽器上右鍵鼠標(biāo)，點(diǎn)擊源代碼看到的內(nèi)容，ajax動(dòng)態(tài)寫入的內(nèi)容抓不到爬蟲(chóng)是很古老的技術(shù)了，那時(shí)還沒(méi)有ajax這種概念。