评论：在分析日志的过程中，常常发现在404个条件下有一些或许多不完整的URL，或者比原始URL更多的URL。





在日志分析的过程中，人们常常发现有一些或许多不完整的URL下的404个条件，比原来的URL或URL。在集团也问过类似的情况，认为这是一个常见的问题，见面会，有猜测有可能被别人收购导致这样的问题，老板问平上课，然后我们老板说有可能在抓取URL下载一个扁平的爬虫是不完整的，但这并不是一个具体的数据来支持，总感觉很朦胧的不确定。

现在，谷歌管理员工具可以很清楚的用数据为你揭晓的惊喜，谷歌管理员工具是老板的SEO工具是非常受人尊敬的，有人认为百度的人不需要谷歌的东西，因为百度和谷歌的算法是有区别的，这里的谷歌管理员可以告诉你这种想法是完全错误的，站长工具是开发与SEO标准按照网站最权威的SEO工具之一，做SEO需要的数据，其中大部分可以从里面获得的，在这里介绍的管理员工具的功能（如最近更新。以前不是这样的）。

看看百度日志中奇怪的404


这些URL的入口在哪里搜索引擎在哪里获取URL

谷歌告诉你

首先，我们将介绍下一个谷歌管理员工具在抓取错误方面的功能。


这是另一个网站。由于修正的问题，没有跳跃和抓取引起的爬行错误。有一个完整的曲线，可以让你清楚地看到网站问题的变化趋势。

服务器问题引起的抓取错误

拿起第一张图（同一个网站）

这些错误在开始时从日志中观察到，但他们不知道这些错误的来源。

现在您可以知道错误的URL来自何处了

点击第一百零二，打下面的盒子，URL不在站点地图，但它出现在其他网站，说明网站本身，但它已被删除。

点击第一百一十，弹出下面的框，你可以看到搜索引擎来自另一个站点（或者一个收集站，或者其他东西）。

单击特定的源页查看

在这一点上，可以非常清楚地知道Web日志中的URL是什么，无论它是在站本身还是在站外。还有其他功能最近更新了，感兴趣的朋友可以亲自体验它。

原地址：光年论坛