什么是robots.txt文件? 应放在哪里?53
什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
robots.txt文件有什么必要?
从SEO的角度,robots.txt文件是一定要设置的,原因:
1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3、一些没有关键词的页面,屏蔽掉更好。
4、一般情况下,站内的搜索结果页面屏蔽掉更好。
Robots.txt 文件应放在哪里?
robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
如:
https://www.jiseo.cn/robots.txt 是有效的。
https://www.jiseo.cn/a/robots.txt 是无效的。
以下3种情况需要注意:
1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。
2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。
2022-06-30
上一篇:网站3个月之内的沙盒期
最新文章
![提升网站SEO排名的8个实用技巧[1339字]](https://cdn.shapao.cn/images/text.png)
提升网站SEO排名的8个实用技巧[1339字]
https://www.jisuseo.cn/26218.html
![SEO排名优化技巧[1415字]](https://cdn.shapao.cn/images/text.png)
SEO排名优化技巧[1415字]
https://www.jisuseo.cn/26217.html
![SEO排名提升的有效方法[1568字]](https://cdn.shapao.cn/images/text.png)
SEO排名提升的有效方法[1568字]
https://www.jisuseo.cn/26216.html
![如何在搜索引擎中获得更好的曝光率[1837字]](https://cdn.shapao.cn/images/text.png)
如何在搜索引擎中获得更好的曝光率[1837字]
https://www.jisuseo.cn/26215.html
![SEO排名提升攻略[1464字]](https://cdn.shapao.cn/images/text.png)
SEO排名提升攻略[1464字]
https://www.jisuseo.cn/26214.html
热门文章

油管youtube视频无法打开的原因
https://www.jisuseo.cn/9544.html

微信视频号点赞会被所有朋友看到吗?(附解密微信视频号的推荐机制分享)
https://www.jisuseo.cn/5625.html

站内站的作用和使用技巧
https://www.jisuseo.cn/186.html

百度蜘蛛的鉴别方法
百度真假蜘蛛IP如何识别?判断百度蜘蛛的鉴别方法

常见元标签有哪些?
https://www.jisuseo.cn/385.html