通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀98
通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图:
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。
在robots.txt文件填写屏蔽规则如下:
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*,后面一个$,代表后缀。
2022-06-30
上一篇:WordPress的详细介绍
下一篇:怎么分网站索引量持续下降的原因?
最新文章
44分钟前
54分钟前
1小时前
1小时前
3小时前
热门文章
12-08 00:18
04-11 23:21
08-26 10:32
09-05 10:37
06-21 09:48

泰州SEO优化实战经验分享:从关键词到排名提升的完整指南
https://www.jisuseo.cn/126612.html

仙桃SEO推广机构:选择与合作指南,助您企业腾飞
https://www.jisuseo.cn/126611.html

石柱SEO优化公司:选择与成功的关键
https://www.jisuseo.cn/126610.html

杭州新站SEO优化:从零到一,打造高效搜索引擎策略
https://www.jisuseo.cn/126609.html

抖音搜索SEO黑科技揭秘:从算法到策略,玩转抖音搜索引擎
https://www.jisuseo.cn/126608.html
热门文章

油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html
![刚刚!今日头条窃取百度搜索结果实锤![3989字]](https://cdn.shapao.cn/images/text.png)
刚刚!今日头条窃取百度搜索结果实锤![3989字]
https://www.jisuseo.cn/19376.html

百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

外链和友情链接的区别
外链和友情链接的区别

HTML代码建议
https://www.jisuseo.cn/386.html