什么是robots.txt文件? 应放在哪里?53
什么是robots.txt文件?
搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。
如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
robots.txt文件有什么必要?
从SEO的角度,robots.txt文件是一定要设置的,原因:
1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3、一些没有关键词的页面,屏蔽掉更好。
4、一般情况下,站内的搜索结果页面屏蔽掉更好。
Robots.txt 文件应放在哪里?
robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
如:
https://www.jiseo.cn/robots.txt 是有效的。
https://www.jiseo.cn/a/robots.txt 是无效的。
以下3种情况需要注意:
1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。
2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。
3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看。
2022-06-30
上一篇:网站3个月之内的沙盒期
最新文章
网络推广在为企业打造数字化营销(网络推广营销公司seo推广公司)[816字]
https://www.jisuseo.cn/26612.html
网络推广是营销市场下一个决胜点(网络推广营销公司seo推广公司)[1056字]
https://www.jisuseo.cn/26611.html
网络推广如何在线上营销中或流量?(网络推广营销公司seo推广公司)[1123字]
https://www.jisuseo.cn/26610.html
高淳seo网站推广的方法[2455字]
https://www.jisuseo.cn/26609.html
连南seo优化的策略[2438字]
https://www.jisuseo.cn/26608.html
热门文章
微信视频号点赞会被所有朋友看到吗?(附解密微信视频号的推荐机制分享)
https://www.jisuseo.cn/5625.html
想知道抖音视频怎么提取音频吗?这3个方法值得一试
https://www.jisuseo.cn/901.html
站内站的作用和使用技巧
https://www.jisuseo.cn/186.html
网站收录慢的原因,怎么办?_网站不收录怎么办
https://www.jisuseo.cn/1204.html
什么是黑体及斜体?
https://www.jisuseo.cn/371.html