robots里这样写,就能避免蜘蛛爬抓取193
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?
User-agent: *
Disallow: /index.htm
我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查
我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。
当然,如果只是应付备案短暂需求,,就只能这样处理。
后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。
2022-06-29
上一篇:怎么分网站索引量持续下降的原因?
最新文章
4分钟前
34分钟前
37分钟前
50分钟前
2小时前
热门文章
12-08 00:18
04-11 23:21
08-26 10:32
09-05 10:37
06-21 09:48

东营SEO优化托管:全面提升企业网站排名与效益
https://www.jisuseo.cn/126371.html

推广学院SEO培训:从入门到精通,助您网站排名跃升
https://www.jisuseo.cn/126370.html

郁南SEO图片优化:提升网站排名和用户体验的实用指南
https://www.jisuseo.cn/126369.html

SEO站外推广:提升网站排名与权威的利器
https://www.jisuseo.cn/126368.html

洛阳SEO优化建设:提升网站排名与业绩的完整指南
https://www.jisuseo.cn/126367.html
热门文章

油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html
![刚刚!今日头条窃取百度搜索结果实锤![3989字]](https://cdn.shapao.cn/images/text.png)
刚刚!今日头条窃取百度搜索结果实锤![3989字]
https://www.jisuseo.cn/19376.html

百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

外链和友情链接的区别
外链和友情链接的区别

HTML代码建议
https://www.jisuseo.cn/386.html