robots里这样写,就能避免蜘蛛爬抓取190
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?
User-agent: *Disallow: /index.htm
我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查
我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。
当然,如果只是应付备案短暂需求,,就只能这样处理。
后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。
2022-06-29
上一篇:怎么分网站索引量持续下降的原因?
最新文章
![SEO新手必备基础知识[1524字]](https://cdn.shapao.cn/images/text.png)
SEO新手必备基础知识[1524字]
https://www.jisuseo.cn/21564.html
![优化SEO布局[1353字]](https://cdn.shapao.cn/images/text.png)
优化SEO布局[1353字]
https://www.jisuseo.cn/21563.html
![如何优化网站布局来提升SEO排名[1480字]](https://cdn.shapao.cn/images/text.png)
如何优化网站布局来提升SEO排名[1480字]
https://www.jisuseo.cn/21562.html
![如何对新建网站进行SEO优化?[1292字]](https://cdn.shapao.cn/images/text.png)
如何对新建网站进行SEO优化?[1292字]
https://www.jisuseo.cn/21561.html
![如何提高网站访问量?SEO新手入门教程![1264字]](https://cdn.shapao.cn/images/text.png)
如何提高网站访问量?SEO新手入门教程![1264字]
https://www.jisuseo.cn/21560.html
热门文章

油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html

站内站的作用和使用技巧
https://www.jisuseo.cn/186.html

百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

常见元标签有哪些?
https://www.jisuseo.cn/385.html

被搜索引擎严重惩罚的网站怎么处理?
https://www.jisuseo.cn/343.html