通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀95
通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图:
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。
在robots.txt文件填写屏蔽规则如下:
Disallow: /*.asp$Disallow: /*.php$Disallow: /*.aspx$
注意前面一个*,后面一个$,代表后缀。
2022-06-30
上一篇:WordPress的详细介绍
下一篇:怎么分网站索引量持续下降的原因?
最新文章
![关键词质量度如何优化[4614字]](https://cdn.shapao.cn/images/text.png)
关键词质量度如何优化[4614字]
https://www.jisuseo.cn/15807.html
![影响网页排名的因素[2655字]](https://cdn.shapao.cn/images/text.png)
影响网页排名的因素[2655字]
https://www.jisuseo.cn/15806.html
![网站外链的判断依据[5822字]](https://cdn.shapao.cn/images/text.png)
网站外链的判断依据[5822字]
https://www.jisuseo.cn/15805.html
![网站关键词优化怎么做的[3378字]](https://cdn.shapao.cn/images/text.png)
网站关键词优化怎么做的[3378字]
https://www.jisuseo.cn/15804.html
![seo如何查询网站收录[4675字]](https://cdn.shapao.cn/images/text.png)
seo如何查询网站收录[4675字]
https://www.jisuseo.cn/15803.html
热门文章

百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

Baiduspider - 百度蜘蛛
https://www.jisuseo.cn/359.html

外链和友情链接的区别
外链和友情链接的区别

HTML代码建议
https://www.jisuseo.cn/386.html

百度判为优质内容(2)
什么内容容易被百度判为优质内容(2)