评论：防止网页被搜索引擎搜索最常用的方法是使用robots.txt文件，但是这样做的缺点是列出所有已知的爬虫的信息，所以难免有疏漏。





下列方法可以治疗和治疗。
1。限制IP地址单位时间访问的次数
分析：没有一个普通人能在一秒钟内访问同一个网站5次，除非有一个程序访问，剩下的就是这个兴趣，然后搜索引擎爬虫和讨厌的收集器离开了。
缺点：一个适合所有人，这也阻止了搜索引擎收集网站。
网站：不依赖搜索引擎的网站
收集器将做什么：减少每单位时间访问次数并降低捕获效率

2，屏蔽IP
分析：通过后台计数器，记录访问者的IP和访问频率，人工分析访问记录，屏蔽可疑IP。
弊端：似乎没有什么弊端，就是站长忙。
适用网站：所有网站，站长都知道哪些机器人是谷歌或百度的。
收藏家会做什么：打游击战！使用IP代理收集一次，但会减少收集器的效率和网络速度（通过代理）。

三.使用js加密网页内容
注意：我没有碰这个方法，只是从别的地方。
分析：没有分析，搜索引擎爬虫和收集器杀死
网站：一个非常讨厌搜索引擎和收集器的网站。
收藏家会这样做：你这样的牛，准备牺牲，他不会来找你。

4。网页隐藏了网站的版权或一些随机的垃圾邮件，这些都是在CSS文件中写的。
分析：虽然它不能防止收藏，但它会使收集内容充满你的网站的版权描述或垃圾词，因为一般收藏家不会同时收集你的CSS文件，而这些字符会毫无风格地显示。
适用网站：所有网站
收藏家会做什么：对于受版权保护的文本，运行良好，替换它。对于垃圾的随机文本，没有办法，勤奋。

5、用户登录访问网站内容*
分析：搜索引擎爬虫不设计为每种类型的网站登录程序。听说收集器可以设计一个模拟用户登录并提交表单的行为对一个网站。
网站：一个非常讨厌搜索引擎的网站，想阻止大部分的收集器。
收集器将做什么：为一个准用户的行为创建一个模块来登录表单

6。使用脚本语言进行分页（隐藏分页）
分析：还是那句话，搜索引擎爬虫不会分析各网站的隐藏页面，影响搜索引擎收录它。然而，当集热器是写采集规则，谁想分析目标网页代码和理解脚本知识会知道真正的分页链接地址。
适用站点：不太依赖搜索引擎的网站和不了解脚本知识的人。
收藏家是干什么的应该说收藏家会做什么。他会分析你的网页代码，无论如何，和分析你的分页脚本，这不会花很多额外的时间。

7、防盗链措施（只允许通过网站页面查看，如：Request.ServerVariables（http_referer））
分析：ASP和PHP可以判断请求是否来自该网站通过读取请求的http_referer属性，从而制约了收藏家，也限制了搜索引擎爬虫，这严重影响了网站的防盗链的一部分搜索引擎的采集。
适用网站：不太考虑搜索引擎的网站
采集器会怎么做：伪装http_referer，不难。

8、完整的Flash、图片或PDF来呈现Web内容
分析：搜索引擎爬虫和收割机的穷人的支持，这是已知的许多人懂SEO。
应用程序网站：媒体设计类，不关心搜索引擎中包含的网站
收藏家会做什么：不要采摘它，去吧！

9。随机使用不同的模板。
分析：由于采集器是基于网站的结构来定位所需内容，一旦两更换模板，采集规则是无效的，好的，这并不影响搜索引擎的爬虫。
适用网站：动态网站，不考虑用户体验。
收集器将做什么：一个网站模板不能超过10，每个模板做一个规则，不同的模板使用不同的集合规则。如果超过10个模板，因为目标站点是如此难以替换模板，完成他的，退出。

10。使用动态和不规则的HTML标记
分析：这是更变态的。考虑到HTML标签包含相同的空间和空间效果，所以它与页面显示相同。然而，作为收集器的标记，有两种不同的标记：如果每个页面中的HTML标记中的空格数是随机的，那么
收集失败的规则。但它没有多做搜索引擎的爬虫。
适合Web站点：所有Web站点都是动态的，不希望遵从Web设计规范。
收藏家会做什么还有对策。现在HTML清理器仍然很多。首先，我们清理HTML标记，然后编写收集规则。在收集规则之前，我们应该清理HTML标记，或者我们可以得到所需的数据。