如何从广度和深度喂饱蜘蛛

昨天在“搜索引擎是咋样工作的”内容中也提到了蜘蛛的工作方式分为广度和深度，但是没有详细的介绍，今天合肥网络公司小编就跟大家解析一下蜘蛛广度和深度的工作方法。

搜索引擎蜘蛛工作都是深度开始，蜘蛛找到一个链接之后，就会沿着这个链接向下一个链接前进；从一个页面开始这样重复着工作，但不是重复爬同一个页面。当蜘蛛爬到无路可走的时候，才返回爬另一条路。

蜘蛛的广度工作比较有规律，用字母表示页面，就可以很形象的表示为蜘蛛从页面A爬到a1、a2、a3、a4，如果a4页面之后就没有其他链接了。然后从另一个链接爬到另外b1、b2、b3、b4页面。

如果蜘蛛以广度优先，那么蜘蛛就能在一个页面发现很多个链接，这种爬行是没有规律的爬行。按照网站的层次来爬，第一层爬取完了之后，再爬取第二层页面，以此类推。用字母表示的话就是从A页面爬到A1、B1、C1、D1页面，爬完之后再继续到第二个层次，A1爬完爬A2，A2爬完爬A3。

合肥网络公司认为，不管是广度还是深度，蜘蛛都会爬完整个网络，当然也不可能每个页面都能爬取到，所以我们才会有网站收录不一样的情况。如何喂饱蜘蛛，那就要让蜘蛛在网站中舍不得出来，网站内链和外链都要做到尽善尽美。