回顾：搜索引擎面临着数万亿的网页。如何高效地捕捉到本地镜像这么多页面这就是网络爬虫的工作，我们也叫它蜘蛛网，作为站长，我们每天都与它进行着密切的联系。





首先，爬虫类的框架



上面的图片是一个简单的Web爬虫框架图。种子URL，如图所示，经过一个步骤的工作，最终存储的网页。当然，勤劳的蜘蛛可能需要做更多的工作，如网页重量和网络反作弊。

也许，我们可以把网络当作蜘蛛的晚餐，晚餐包括：

已下载的网页。被蜘蛛捕获的网页放在胃里。

已经过期的网页。蜘蛛每次抓取很多网页，其中一些已经在胃里了。

下载网页。当你看到食物时，蜘蛛会抓住它。

知道这个网页。它还没有下载和找到，但蜘蛛可以感觉到它们，迟早会抓住它。

一个不可知的网页。互联网如此之大，以至于许多网页都找不到，也找不到。这部分很高。

通过以上的划分，我们可以清楚地了解到搜索引擎蜘蛛的工作及其面临的挑战，大多数蜘蛛都是按照这样的框架爬行的，但并不完全确定蜘蛛总是有特殊的东西，而且蜘蛛系统根据不同的功能有一定的差异。

二、爬行动物类型

1批蜘蛛。

这种蜘蛛有一个清晰的抓取范围和目标，当蜘蛛完成目标和任务时，它停止抓取。具体目标是什么可以捕获Web页面的数量、Web页面的大小和抓取的时间。

2，增量蜘蛛

这些蜘蛛与大众蜘蛛不同，它们会继续抓取它们，并定期对所捕获的网页进行更新。因为Internet上的网页总是处于更新状态，所以增量蜘蛛需要能够反映这个更新。

3、垂直蜘蛛

蜘蛛只专注于特定主题或特定行业的页面。在健康的网站来说，这种特殊的蜘蛛只会把健康相关的主题，与其他主题的网页没有被捕获。测试蜘蛛的难点是如何准确地识别行业的内容。目前，许多垂直行业网站需要这种蜘蛛的抓取。

三，抓取策略

蜘蛛通过种子URL爬行并列出要捕获的大量URL，但是为了获取大量URL，蜘蛛如何确定抓取顺序呢蜘蛛抓取的策略有很多，但最终的目标是优先抓取一个重要的网页，对页面的评价很重要，蜘蛛会根据页面内容、链接权重分析等来计算，比较有代表性的抓取策略如下：

1、宽度优先策略



宽度优先是：在蜘蛛抓取一个网页之后，它继续以顺序捕捉网页中包含的其他页面。这个想法看起来很简单，但实际上非常实用。因为大多数页面都是按优先级排列的，所以页面上会推荐重要的页面。

2，PageRank策略

PageRank是一种非常著名的链接分析方法，它主要用来衡量网页的权重，就像谷歌的PR一样，它是一种典型的PageRank算法，通过PageRank算法可以找出哪些页面更重要，然后蜘蛛优先抢占这些重要页面。

3大优先战略

很容易理解，大型网站通常有更多的内容页，而且质量会更高。蜘蛛会首先分析网站的类别和属性。如果这个站点被收录在很多地方，或者在搜索引擎中，系统的权重很高，那么优先级就包括在内了。

四、网页更新

在互联网上的页面将被更新，以便存储蜘蛛页面可以更新和一致的时候。一个隐喻：在页面的网页是非常好的，如果页面已经删除，但有一个排名，体验非常不好。所以搜索引擎需要了解并更新页面，随时为用户提供最新的页面，有三种常见的网页更新策略：历史参考策略，用户体验策略，聚类抽样策略。

1，历史参照战略

这是一个基于假设的更新策略。例如，如果你的网页定期更新，搜索引擎也会认为你的页面会经常更新。蜘蛛也会根据这个规则定期抓取网页，这就是为什么水总是强调网站内容需要定期更新的原因。

2，用户体验策略

在一般情况下，用户只会看搜索结果的前三页的内容，还有在页面后面的几个人。用户体验的策略是，搜索引擎对用户的特征的基础上更新。例如，一个网页可能早前发布的一段时间不更新，但用户仍然觉得很有用。点击浏览它，这样搜索引擎首先不会更新这些过时的网页。这就是为什么搜索结果不一定是最新的页面排名。更多的排名取决于页面的质量，而不是更新时间。

3，集群抽样策略

前两种更新策略主要是指网页的历史信息，但存储大量历史信息是搜索引擎的负担。此外，如果包含新网页，没有历史信息可参考，我该怎么办聚类抽样策略是指根据网页显示的某些属性对许多相似的网页进行分类，并根据同一规则更新分类网页。

通过对搜索引擎蜘蛛工作原理的理解，我们知道网站内容、网站更新规则、网页链接分布以及网站权重都会影响到蜘蛛抓取的效率！