什么是robots.txt文件? 应放在哪里?54
什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
robots.txt文件有什么必要?
从SEO的角度,robots.txt文件是一定要设置的,原因:
1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3、一些没有关键词的页面,屏蔽掉更好。
4、一般情况下,站内的搜索结果页面屏蔽掉更好。
Robots.txt 文件应放在哪里?
robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
如:
https://www.jiseo.cn/robots.txt 是有效的。
https://www.jiseo.cn/a/robots.txt 是无效的。
以下3种情况需要注意:
1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。
2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。
2022-06-30
上一篇:网站3个月之内的沙盒期

SEO品牌推广计划:全方位提升品牌影响力与搜索引擎排名
https://www.jisuseo.cn/123289.html

焦作抖音SEO推广:提升品牌知名度与业绩的关键
https://www.jisuseo.cn/123288.html

晋中SEO优化实战经验:从关键词到排名提升的完整指南
https://www.jisuseo.cn/123287.html

站内SEO优化实例详解:提升网站排名的关键策略
https://www.jisuseo.cn/123286.html

布吉SEO优化:选择合适的厂商,成就您的企业辉煌
https://www.jisuseo.cn/123285.html
热门文章

微信视频号点赞会被所有朋友看到吗?(附解密微信视频号的推荐机制分享)
https://www.jisuseo.cn/5625.html

想知道抖音视频怎么提取音频吗?这3个方法值得一试
https://www.jisuseo.cn/901.html

什么是黑体及斜体?
https://www.jisuseo.cn/371.html

站内站的作用和使用技巧
https://www.jisuseo.cn/186.html

网站收录慢的原因,怎么办?_网站不收录怎么办
https://www.jisuseo.cn/1204.html