如何有效的屏蔽百度蜘蛛[1048字]642

　　很多时候，我们都不会去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的网站门户网，有登录页面或者是注册页面，还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成，那么重庆SEO就讲解哈屏蔽百度蜘蛛的具体方法。

　　一、robots协议

　　robots协议相信大家都不陌生，首先既然要用到robots协议，那么我们就要先创建一个记事本，把记事本重命名为robots，然后我们写下robots协议具体如下：

　　User-agent: BadBot

　　Disallow: /

　　然后保存后通过FTP工具上传到网站根目录即可。

　　二、robots Meta标签

　　robots Meta标签也可以屏蔽百度蜘蛛抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots Meta用来对某几个页面单独设置时使用。其代码是写在“”之间，如下所示：

　　三、.htaccess屏蔽

　　如果说使用robots协议无法全部屏蔽你的网站，那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下：

　　方法1：

　　RewriteEngine on

　　RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

　　RewriteRule .* – [F]

　　方法2：

　　SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

　　Order Allow,Deny

　　Allow from all

　　Deny from env=bad_bot

　　总结:百度蜘蛛屏蔽方法有许多，以上方法可参考，重庆SEO觉得还是以robots协议较好，所以其他方法及时可以用，但是也不建议去做，因为一步小心搞错了，就会导致麻烦不断!

2023-03-30

上一篇：四川SEO排名稳步增进,站内优化是核心[3053字]

下一篇：企业网站优化应该如何做好网站外链建设[2289字]