robots里这样写，就能避免蜘蛛爬抓取193

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？


User-agent: *Disallow: /index.htm

我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查

我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。


写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。

当然，如果只是应付备案短暂需求，，就只能这样处理。

后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。



2022-06-29

上一篇：怎么分网站索引量持续下降的原因？

下一篇：三种类型的网站，选择网站域名的策略

最新文章
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]

https://www.jisuseo.cn/26612.html

10-09 23:14
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]

https://www.jisuseo.cn/26611.html

10-09 20:19
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]

https://www.jisuseo.cn/26610.html

10-09 20:16
高淳seo网站推广的方法[2455字]
高淳seo网站推广的方法[2455字]

https://www.jisuseo.cn/26609.html

10-09 12:35
连南seo优化的策略[2438字]
连南seo优化的策略[2438字]

https://www.jisuseo.cn/26608.html

10-09 12:35
热门文章
微信视频号点赞会被所有朋友看到吗？（附解密微信视频号的推荐机制分享）
微信视频号点赞会被所有朋友看到吗？（附解密微信视频号的推荐机制分享）

https://www.jisuseo.cn/5625.html

12-06 00:53
想知道抖音视频怎么提取音频吗？这3个方法值得一试
想知道抖音视频怎么提取音频吗？这3个方法值得一试

https://www.jisuseo.cn/901.html

11-26 08:25
站内站的作用和使用技巧
站内站的作用和使用技巧

https://www.jisuseo.cn/186.html

05-10 14:32
网站收录慢的原因，怎么办？_网站不收录怎么办
网站收录慢的原因，怎么办？_网站不收录怎么办

https://www.jisuseo.cn/1204.html

11-27 07:00
什么是黑体及斜体？
什么是黑体及斜体？

https://www.jisuseo.cn/371.html

06-16 09:34