什么是robots.txt文件? 应放在哪里?54
什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
robots.txt文件有什么必要?
从SEO的角度,robots.txt文件是一定要设置的,原因:
1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3、一些没有关键词的页面,屏蔽掉更好。
4、一般情况下,站内的搜索结果页面屏蔽掉更好。
Robots.txt 文件应放在哪里?
robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
如:
https://www.jiseo.cn/robots.txt 是有效的。
https://www.jiseo.cn/a/robots.txt 是无效的。
以下3种情况需要注意:
1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。
2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。
2022-06-30
上一篇:网站3个月之内的沙盒期
最新文章
![网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]](https://cdn.shapao.cn/images/text.png)
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]
https://www.jisuseo.cn/26612.html
![网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]](https://cdn.shapao.cn/images/text.png)
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]
https://www.jisuseo.cn/26611.html
![网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]](https://cdn.shapao.cn/images/text.png)
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]
https://www.jisuseo.cn/26610.html
![高淳seo网站推广的方法[2455字]](https://cdn.shapao.cn/images/text.png)
高淳seo网站推广的方法[2455字]
https://www.jisuseo.cn/26609.html
![连南seo优化的策略[2438字]](https://cdn.shapao.cn/images/text.png)
连南seo优化的策略[2438字]
https://www.jisuseo.cn/26608.html
热门文章
![油管youtube视频无法打开的原因](https://cdn.shapao.cn/images/text.png)
油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html
![百度蜘蛛的鉴别方法](https://cdn.shapao.cn/images/text.png)
百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法
![外链和友情链接的区别](https://cdn.shapao.cn/images/text.png)
外链和友情链接的区别
外链和友情链接的区别
![HTML代码建议](https://cdn.shapao.cn/images/text.png)
HTML代码建议
https://www.jisuseo.cn/386.html
![Baiduspider - 百度蜘蛛](https://cdn.shapao.cn/images/text.png)
Baiduspider - 百度蜘蛛
https://www.jisuseo.cn/359.html