如何利用Robots避免蜘蛛黑洞操作?23
蜘蛛黑洞:
蜘蛛黑洞指的是网站通过极低的成本运营,制造出大量和内容相识但参数不同的动态URL ,像一个无限循环的“黑洞”将蜘蛛困住,蜘蛛花费太多的时间在网站,浪费了大量资源抓取的网页为无效网页。
如果你的网站存在蜘蛛黑洞现象,尽快的处理好,蜘蛛黑洞不利于网站的收录,也会影响搜索引擎对网站的评分。
如何使用Robots避免蜘蛛黑洞?
如何利用Robots避免蜘蛛黑洞操作:
普通的筛选结果页基本都是使用静态链接,比如:
http:// bj.XXXXX. com/category/zizhucan/weigongcun
当用户选择不同排序后,会自动生成带有不同参数的动态链接,即使选择是同一种排序条件,生成的参数也有不同的,比如:
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
把带有不同参数的结果排序页面使用robots规则拒绝,告知搜索引擎,让搜索引擎只抓取筛选结果页,为用户和搜索引擎节省时间。
Robots文件写法中Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址,通过这种方式,如果网站的无效页面不希望被搜索引擎收录,可以屏蔽掉低质量的页面,告诉搜索引擎哪些页面可以抓取,有效的避免黑洞的形成。
2022-06-07
上一篇:canonical标签如何设置
最新文章
![【成都seo教学】如何解决企业网站排名波动问题?[1189字]](https://cdn.shapao.cn/images/text.png)
【成都seo教学】如何解决企业网站排名波动问题?[1189字]
https://www.jisuseo.cn/17891.html
![网站产生404页面该如何处理?[1361字]](https://cdn.shapao.cn/images/text.png)
网站产生404页面该如何处理?[1361字]
https://www.jisuseo.cn/17890.html
![网站快照不更新或者延迟更新要如何解决?[746字]](https://cdn.shapao.cn/images/text.png)
网站快照不更新或者延迟更新要如何解决?[746字]
https://www.jisuseo.cn/17889.html
![百度知道要如何做才会有效果[5303字]](https://cdn.shapao.cn/images/text.png)
百度知道要如何做才会有效果[5303字]
https://www.jisuseo.cn/17888.html
![企业网站运营要具备哪些技巧[1057字]](https://cdn.shapao.cn/images/text.png)
企业网站运营要具备哪些技巧[1057字]
https://www.jisuseo.cn/17887.html
热门文章

站内站的作用和使用技巧
https://www.jisuseo.cn/186.html

网站收录慢的原因,怎么办?_网站不收录怎么办
https://www.jisuseo.cn/1204.html

什么是网站外部鍵接?
什么是网站外部鍵接?

被搜索引擎严重惩罚的网站怎么处理?
https://www.jisuseo.cn/343.html

常见元标签有哪些?
https://www.jisuseo.cn/385.html