通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀98
通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图:
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。
在robots.txt文件填写屏蔽规则如下:
Disallow: /*.asp$Disallow: /*.php$Disallow: /*.aspx$
注意前面一个*,后面一个$,代表后缀。
2022-06-30
上一篇:WordPress的详细介绍
下一篇:怎么分网站索引量持续下降的原因?
最新文章
![网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]](https://cdn.shapao.cn/images/text.png)
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]
https://www.jisuseo.cn/26612.html
![网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]](https://cdn.shapao.cn/images/text.png)
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]
https://www.jisuseo.cn/26611.html
![网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]](https://cdn.shapao.cn/images/text.png)
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]
https://www.jisuseo.cn/26610.html
![高淳seo网站推广的方法[2455字]](https://cdn.shapao.cn/images/text.png)
高淳seo网站推广的方法[2455字]
https://www.jisuseo.cn/26609.html
![连南seo优化的策略[2438字]](https://cdn.shapao.cn/images/text.png)
连南seo优化的策略[2438字]
https://www.jisuseo.cn/26608.html
热门文章
![油管youtube视频无法打开的原因](https://cdn.shapao.cn/images/text.png)
油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html
![百度蜘蛛的鉴别方法](https://cdn.shapao.cn/images/text.png)
百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法
![外链和友情链接的区别](https://cdn.shapao.cn/images/text.png)
外链和友情链接的区别
外链和友情链接的区别
![HTML代码建议](https://cdn.shapao.cn/images/text.png)
HTML代码建议
https://www.jisuseo.cn/386.html
![Baiduspider - 百度蜘蛛](https://cdn.shapao.cn/images/text.png)
Baiduspider - 百度蜘蛛
https://www.jisuseo.cn/359.html