通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀98

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。

搜外网站后台日志分析结果如下图：

搜外主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。


在robots.txt文件填写屏蔽规则如下：

Disallow: /*.asp$Disallow: /*.php$Disallow: /*.aspx$

注意前面一个*，后面一个$，代表后缀。


2022-06-30

上一篇：WordPress的详细介绍

下一篇：怎么分网站索引量持续下降的原因？

最新文章
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]

https://www.jisuseo.cn/26612.html

10-09 23:14
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]

https://www.jisuseo.cn/26611.html

10-09 20:19
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]

https://www.jisuseo.cn/26610.html

10-09 20:16
高淳seo网站推广的方法[2455字]
高淳seo网站推广的方法[2455字]

https://www.jisuseo.cn/26609.html

10-09 12:35
连南seo优化的策略[2438字]
连南seo优化的策略[2438字]

https://www.jisuseo.cn/26608.html

10-09 12:35
热门文章
微信视频号点赞会被所有朋友看到吗？（附解密微信视频号的推荐机制分享）
微信视频号点赞会被所有朋友看到吗？（附解密微信视频号的推荐机制分享）

https://www.jisuseo.cn/5625.html

12-06 00:53
想知道抖音视频怎么提取音频吗？这3个方法值得一试
想知道抖音视频怎么提取音频吗？这3个方法值得一试

https://www.jisuseo.cn/901.html

11-26 08:25
站内站的作用和使用技巧
站内站的作用和使用技巧

https://www.jisuseo.cn/186.html

05-10 14:32
什么是黑体及斜体？
什么是黑体及斜体？

https://www.jisuseo.cn/371.html

06-16 09:34
网站收录慢的原因，怎么办？_网站不收录怎么办
网站收录慢的原因，怎么办？_网站不收录怎么办

https://www.jisuseo.cn/1204.html

11-27 07:00