搜索引擎蜘蛛爬行原理186

对于做SEO的人员来讲,收录那必须是第一步,而搜索引擎的收录是从蜘蛛的爬行开始的,这个大家都非常的明确,也许今天再谈这个话题在很多大虾的眼里已经是一个小儿科,可是作为菜鸟的我,我感觉这样的理论知识还要是搞明白的好。


做任何事情不要以为谈理论就是纸上谈兵,当然了,有很多人没有任何的理论也已经成为了SEO高手,可是我感觉,如果再加上适当的理论,也许你会更厉害。

好了,咱们下面就说一说搜索引擎蜘蛛的爬行规则吧。

大家知道,整个互联网是由链接组成的,而蜘蛛就是通过这一些一层又一层的链接来抓取页面内容的,而抓取内容的时候,大致可以分为两种形式,一种是纵向抓取,一种是横向抓取。

纵向抓取原理:

就是当蜘蛛进入一个网站的时候,会沿着一个链接一步一步的深入,直到无法再向前前进的时候再返回爬行另外一个链接。

横向抓取原理:

就是当蜘蛛进入一个网站的时候,在一个页面上发现有很多的链接的时候,不是顺着各各链接进行一步步的纵向抓取,而是把第一层的链接全部抓取完成,再沿第二层链接进行抓取。

无论是蜘蛛进行纵向抓取还是进行横向抓取,只要有足够的时间给蜘蛛,蜘蛛就能爬完整个互联网中的所有网页,呵呵,当然不能是被搜索引擎K过的网站。

我认为,在一个蜘蛛进入站点进,对于内部链接已经是纵向抓取优先,对于外链则是横向抓取,总之一句话,网络蜘蛛抓取页面是纵向原则和横向原则想接合使用的。

好了,今天就写到这里,以后还会发表更多的关于搜索引擎优化原理的文章,希望大家多多关注。

2022-11-25


上一篇:是SEO技术已死,还是你不懂SEO?

下一篇:如何做好独立站SEO优化?老外推荐了这9个工具