同時(shí)還會創(chuàng)建網(wǎng)站的robotsTXT文件，將以下代碼寫入該文件1 Useragent *2 Disallow 這個(gè)代碼的作用是阻止網(wǎng)絡(luò)爬蟲對你的網(wǎng)頁進(jìn)行索引但是還取決于搜索引擎是否接受這個(gè)指令所以，雖然大多數(shù)搜索引擎會尊重這個(gè)請求。

1通過 robotstxt 文件屏蔽 可以說 robotstxt 文件是最重要的一種渠道能和搜索引擎建立直接對話，給出以下建議Useragent Baiduspider Disallow Useragent Googlebot Disallow Useragent Googlebot。

可使用robots協(xié)議建立robotstxt 文件，上傳至網(wǎng)站根目錄屏蔽所有搜索引擎爬取網(wǎng)站的語法UseragentDisallow 允許所有搜索引擎爬取網(wǎng)站所有內(nèi)容 UseragentDisallow只禁止百度抓取你網(wǎng)站的內(nèi)容 Useragent。

4然后找到“建議搜索引擎不索引本站點(diǎn)”前面的框框，然后勾選這個(gè)框框，然后點(diǎn)擊“保存更改”即可 二上傳robots文件的方式 1先在本地創(chuàng)建一個(gè)robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取的代碼 3。

1被robotstxt文件阻止 可以說robotstxt文件是最重要的渠道可以和搜索引擎建立直接對話，給出以下建議用戶代理Baiduspider 不允許 用戶代理Googlebot 不允許 用戶代理谷歌機(jī)器人手機(jī) 不允許 用戶代理谷歌機(jī)。

一Useragenet用來定義搜索引擎寫法如Useragent*或者搜索引擎的蜘蛛的名字二Disallow 是禁止語法，用來定義禁止蜘蛛爬取的頁面或者目錄如Disallow文件夾目錄 或者是 Disallow文件夾名稱。

robots文件的寫法新建一個(gè)TXT文檔，命名為robots，雙擊打開，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取，如果是不希望所有的搜索引擎比如還有360，搜狗，谷歌等。

可以將該內(nèi)容添加nofollow標(biāo)簽，格式如下內(nèi)容。

Useragent * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符 Disallow admin 這里定義是禁止爬尋admin目錄下面的目錄 Disallow require 這里定義是禁止爬尋require目錄下面的目錄 Disallow ABC 這里定義是禁止。

五設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow *htm 說明其中“htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件六充許所有搜索引擎蜘蛛訪問以某個(gè)擴(kuò)展名為后綴的。

Disallowyang 補(bǔ)充說明你是針對百度還是所有搜索引擎上面是針對所有搜索引擎禁止抓取yang目錄如果只針對百度，那么就把Useragent*改為Useragentspider另外據(jù)說360搜索違反robots協(xié)議，不知真假，如果yang目錄。