数码资讯
搜索引擎重复网页发现分析
评论：统计结果表明，近似镜像网页占总网页的比例是所有页面的29%，而同一页占所有页面的22%。 中国科学院软件研究所作者：张俊霖 1。介绍 统计结果显示，网页的近似数占总页面数的比例高达29%的总页数，而相同的页，约占总数的22%页，这些网页是不是在复制的内容变化不大，稍作修改，如对同一篇文章的不同
选购提示
关注价格、性能、续航、售后和真实使用场景，理性比较后再下单。
评论：统计结果表明，近似镜像网页占总网页的比例是所有页面的29%，而同一页占所有页面的22%。
中国科学院软件研究所作者：张俊霖
1。介绍
统计结果显示，网页的近似数占总页面数的比例高达29%的总页数，而相同的页，约占总数的22%页，这些网页是不是在复制的内容变化不大，稍作修改，如对同一篇文章的不同版本，一个新的点，有点老，只有一个不同的格式（如HTML、Postｓｃｒｉｐｔ，{模型）和重复的文件在1999的检测算法。重复的内容可以归结为以下四种类型：
1。如果2个文件的内容和格式没有区别，这种重复称为完全重复布局。
2。如果2个文档相同，但格式不同，则称为完全内容副本。
三.如果2个文档具有相同内容和相同格式的相同部分，则称为部分布局重复。
4。如果2个文档具有相同部分的重要内容，但格式不同，则称为部分内容重复。
近似重复网页发现技术是通过技术手段快速、全面地发现这些重复信息的一种方法。如何快速准确地找到这些相似的网页，已经成为提高搜索引擎服务质量的关键技术之一，寻找重复或近似网页是搜索引擎的优势：
1、首先，如果我们能找到这些重复的页面并从数据库中删除它们，我们就可以节省部分存储空间，然后我们就可以利用这个空间存储更有效的Web内容。同时，也提高了web检索的质量。
2，其次，如果我们可以分析过去的信息收集和发现提前复制的网页，我们可以避免这些网页在未来网页采集的过程，从而提高有效网页的采集速度。有研究表明，重复的页面不在时间太多的变化，所以它是有效的选择重复的页面设置为索引的几页。
三.另外，如果网页图像较高，则表示页面相对重要，应该在网页的集合中给予较高的优先级，并且当搜索引擎系统响应用户查询和输出结果的排序时，应该给予更高的权重。
4。从另一个角度来看，如果用户点击死链接，您可以将用户引导到同一个页面，这样可以有效地增加用户的搜索体验。因此，发现近似镜像页面有助于提高搜索引擎系统的服务质量。
两。基本处理流程
通过对现有技术的分析，可以归纳出以下几个核心技术来解决这一问题。每个技术基本上都是由这些技术点组成的。
1、文档对象的特征提取：分解文档内容，表示多个文档的特征集，这一步是计算以下几个方面的相似度。
2。特征压缩编码：通过哈希编码和其他文本到数字的字符串映射方式，方便后续的特征存储和特征比较。它可以减少存储空间并加快比较速度。
三.文档相似性计算：根据文档特征的比例确定文档是否重复。
4。聚类算法：通过迭代计算，根据相似性计算计算文档集是否相似。
5。工程问题：提出了一系列速度优化算法，使算法在考虑大数据量计算速度的情况下切实可行。
我们可以从几个不同的角度对现有方法进行分类：
l根据所使用的信息，现有的方法可分为三类。
1。只使用内容计算相似度
2。用内容和链接关系计算相似度
三.结合内容、链接关系和URL文本进行类似的计算
现有的评价方法大多是：利用文本相似度进行识别，另外两种使用链接和URL的文本还不是很成熟，而且在引入效果等方面的效果并不明显，所以从实用的角度或选择基于内容的相似度计算算法。
现有的基于特征提取的粒度方法可分为三类。
1。根据单词的粒度进行特征提取。
2、根据瓦的粒度特征extraction.shngle是一个连续的字，这是文档和词之间，小于文件大小大于字的大小。
三.根据整个文档的这个级别的粒度来提取特征
评价:
目前这个领域有很多工作类似的方法在信息检索中找出类似的文件，其本质和瓦是一样的，都是重合度比较两个文件，但不同的是，瓦是成块的数目，规模比较大，但信息实际上是利用字的大小为粒径较小的电缆检测方法的计算速度更快的规模越大，越小的颗粒尺寸的计算速度较慢，所以信息检索方法是不实际的，对瓦的改进和新方法的发展趋势是越来越大，从而解决在速度的实际应用问题的。他最大的大小是每一个文档中都有一个散列编码函数（如MD5），只要相同的编码文档完全相同，但大小太大带来的问题是改变文档不能分辨细微，可以判断相同部分是否相同，到同一程度而不判断。
因此，现有的方法还可以从以下角度进行分类：粒度。粒度最小的字；中间大小瓦；最大粒度是整个文档；因此，瓦级的方法实际上是速度和精度之间的权衡。你可以探索不同大小的影响，如句子为单位编码，编码的编码单元段落为单位大小的不同，也可以考虑动态编码：第一段编码来判断，如果发现有些相似，然后根据粒度细如字级的句子更超级瓦是放大尺寸不同的零件，尺寸越大，更快的效益计算（对于MD5的整个文档，每个文档都是一个散列编码，然后同一排序，查找，是最快的），缺点是会遗漏很多类似的文档；粒度越小越好，召回率比较高，缺点是计算慢下来。
根据重复的级别进行分类，重复三个级别：
1。镜像站点：根据站点内类似页面的数量来判断。实现相对简单。
2。相同的网页：比较简单和速度比较块。根据页面的MD5完整文档，每个文档都由一个散列编码，然后排序，它会发现相同的。
3。同一页面的一部分：实现是相对负责的，大部分工作都在这部分。
评价:
三级应该是从最高水平到较低水平，因为大比例（22%）的内容是一样的，这部分是比较简单的，但如果部分已经被认可，那么在计算同一页的一部分会少很多，所以它应该能够减少整个计算的时间。
l根据时间可分为以下三类。
（1）当抓取页面时，带宽减少，存储量可以减少。
（2）指数将在指数之后进行加权；
（3）当用户检索重复重量的时间时，它增加了准确性并占用了时间；
评价:
你可以把三的时间一个或所有的谷歌，可能是这两种方法的2和谷歌3的结合，许多既定的想法在后台计算和实时计算，如相关的计算，计算的重要性得分，在用户输入查询后初始数据集得到的，和然后重新调整订单，根据设置的文件数据之间的关系；如发生重复，重复第一的背景下，为了提高查询结果的准确性是返回，返回文档集合内，根据的描述；对重新计算部分；该文件是重复的，因此，提高估计的准确性结合许多其他相关算法的组合策略，为了加快实时计算的速度，可以对缓存部分的组合部分进行计算。
l有几种方法可以选择不同的特性：
1。完全保留特征
2。特征选择，设置不同的选择策略以保留某些特征并放弃其他特性。
A.如字（I-Match）与字级小重量
对于鹅卵石的方法，你可以保留一些鹅卵石来抛弃其他的鹅卵石。
（1）一是保留指纹i位置的鹅卵石，另一部分丢弃。
（2）一种是每一种抽样保留和其他放弃；这两种获得的文件条数较长；
（3）选择最小的K层，得到卵石的固定长度；
（4）计算出每一层的84个拉宾指纹函数，保留最小值的84个指纹，此方法是固定的。
对于卵石类方法，它也可以分为固定长度和长块分割算法。
固定长度的算法：快速，但如果在内容变化不大（如插入或删除一个字符或字），影响会更大。例如，瓦及其改进方法（超级瓦），CSC及其改进方法（csc-ss）。
可变长度的算法：速度比较慢，但含量变化引起的影响。例如，CDC，tttd等算法。
评价：为了提高计算速度，一种特征提取策略，摒弃一些特征，保留一些特征，通过减少特征数来加快计算速度。另一个策略是尽可能增加粒子的大小，如super-shingle，mega-shingle甚至基本文件；为了提高算法的效果，采取的策略是不再切割算法如CSC算法的内容；三个策略是加快速度和精度的方向发展。
一些初步结论：
1、对于信息检索类型，由于其特征选择是基于词的，计算速度是一个根本性的问题，因此基本上是不实用的。
2。从所使用的信息中，实际系统应基于使用文本内容来区分相似性，消除链接信息和其他方法的使用；
3，从特征提取算法的粒度，应根据shinlge级粒度的算法甚至文档级粒度的算法；和瓦级算法应优先考虑局部特征的放弃和可变长度的算法。
4、从去评分角度出发，分别将同一文档和同一文档识别分开，首先确定同一文档，从而有效地加快计算速度。
5。从考虑时间上考虑，可以考虑后台权重与实时权重的结合，从而提高减肥效果；
6。从压缩编码的方法来看，最有效的方法是拉宾指纹变异算法。
7。从聚类方法来看，最有效的方法可能是联合查找算法，目前该方法主要采用快速算法。
8。从整体方法的选择来看，改进后的shinlge方法应选择并在此基础上进一步改进。
三。方法效率比较
1。锻炼方法：时间效率O（（MN）2），其中m是SHINGLE的大小，N是文档的数量。计算时间为3000万个文件，10台机器计算一天，或一台机器计算10天。
2、改进的鹅卵石方法（关于近重复网页集群的演化）：时间效率接近线性o（Web），计算时间为：1亿5000万，网页计算3小时。
三.IMaCh方法：在最坏的情况下，时间复杂度（O（D日志D）），且速度更快
4。布隆过滤器的方法：10k数据成本约66ms；
从计算效率来看，速度排序如下：
1。改进卵石法；
2。IMatch方法；
三.布鲁姆滤波法；
4。瓦法；
四。当前代表性解决方案分析
1。卵石法（1997）
答：特征提取
瓦法：所谓瓦N-gram方法常用于类似于自然语言处理，是每个连续的窗口大小为n的字符串的话，作为一个Shingle人，这两者之间的区别是，瓦是一个收集这些字符串相同的字符串将被合并成一个，和n是由于考虑文本的线性结构，所以没有相同的步骤。每一个鹅卵石的特征是一个文件，一个文件是由所有这些Shingle组成的。
B.压缩编码
40位长度拉宾指纹法；在存储方式上，它与传统的信息检索领域中的反向文档技术相似，存储信息记录在文档中出现的特征，然后进一步计算文档的相似度。
文献相似度计算
（1）相似性：两个文献A和B，相似性意味着相同数量的鹅卵石相当于Shingle总数的总和。
（2）包含度是指某一文件中相同的卵石数所占的比例。
优化措施：
（1）分布，然后合并；
（2）在超高频抛下鹅卵石，发现这些鹅卵石是无意义的碎片；
（3）保存同一文档的一个副本以供群集；（压缩后的文档是否具有相同的值）
（4）超级瓦：在Shingle的卵石上，计算较大结构的相似性，以节省存储空间；
2。可能的方法到2。谷歌
答：特征提取
与鹅卵石方法类似，不同之处在于每个单词根据散列函数确定属于哪个列表，因此每个文档由几个这样的列表组成；
B.压缩编码
指纹方法；对于构成文档的列表，计算指纹方法。
文献相似度计算
编辑距离（编辑距离）：如果两个文档有任何指纹相似性，则它们被判断为接近内容。
D.聚类方法
首先对文档ID进行排序，然后采用联合查找聚类方法，聚类结果与文档集相似。
E.优化措施
三.HP实验室方法（2005）
答：特征提取
基于块的算法内容：可变长度的非固定长度的块算法（tttd算法），将一个文件分成几个不同长度的块，每个块作为文本特征。与瓦片法相比，变长块法可以提高系统的查全率。
B.压缩编码
128bit MD5散列方法；每篇文章压缩和由多个二元组编码；
文献相似度计算
（1）构建所有文档和块的两个分区图；
（2）查找文档A中包含的所有块，并计算包含在该块中的其他文档；
（3）计算这些文档和一个文档之间的相似度；
D.聚类方法：联合查找算法
优化措施：二分分区，本质上，将大规模数据划分为小规模数据，以识别和合并结果。它相当于分布计算；
4.bloom过滤器（2005）
（1）。特征提取方法
基于内容的内容定义（块CDC）：CDC的文件分割成较长的内容片段，和分割的边界是由拉宾指纹和预判断数值匹配的编程者。
（2）编码（构造布鲁姆过滤器集合元素）
对片段进行分段编码，布鲁姆过滤器的编码如下：整个文档由片段组成，文档由两个m值长的数组表示，当将一个元素（内容片段）编码成一个集合时，它使用k散列函数对每个散列函数进行编码。m位置的位置设置为1。这个技术主要用于确定一个元素是否包含在集合中。
（3）相似性计算方法
布鲁姆过滤器方法：对于两个编码文件（两个m值二值数组），我们通过位逻辑运算和。如果许多位置都是1，那么两个文档被认为是近似的。
（4）优势
1。文档编码简单，易于存储。
2。由于计算相似度是位逻辑运算，所以速度比较快。
三.这是更容易判断文件包含关系比锻造的方法。（一个文件包含一个简短的文件）
5。内容+链接关系（2003）
1。特征提取方法
该方法在提取特征的同时考虑了文档的内容和链接因素。
内容因子：通过随机投影技术将高维空间的内容映射到低维空间，并用实数表示。如果两个文档映射的数目比较接近，两个内容之间的相似度是相似的。
链接因子：通过考虑与PageRank相似的连接关系，我们通过计算网页的内容因子获得得分，并通过链接将其传播到其他网页。
2。相似度计算方法
每个文档由两个元组组成，RP表示内容部分的值，HM表示链接关系的值。如果两个文档中的每一项之间的差值小于指定值，则判断两个文档相似。
三.影响
只有内容精度为90%，二者的组合精度是93%，可以看出，链接的作用不明显，这可能与链接使用这种方法的方法有关，因为内容是通过链接计算的。
6.i-match方法（2002）
（1）I-Match不依赖于完整的信息分析，但使用的数据集提取文档的主要特征、统计特征和废弃的非主要功能。输入一个文件，滤波器的一些关键特征根据单词的IDF值，并计算文件的哈希值的独特。具有相同散列值的文档是重复的。
（2）使用SHA1哈希函数，因为它是快速，适用于任何length.sha-1生成一个20字节或160位的散列值，并使用一个安全的冲突解决算法，使得不同的标记字符串生成相同的散列值的概率（令牌流）是非常低的。插入一个元组成树结构的时间复杂度（O（D日志D）），和其他的数据结构，如数据结构（哈希表）需要（O（d））。重复的识别（副本）是基于数据插入到哈希数组或树结构。任何哈希值冲突都表示检测到重复的内容。
（3）在最坏的情况下，时间复杂度是（O（d log d）），而且速度更快。
中国科学院软件研究所作者：张俊霖
1。介绍
统计结果显示，网页的近似数占总页面数的比例高达29%的总页数，而相同的页，约占总数的22%页，这些网页是不是在复制的内容变化不大，稍作修改，如对同一篇文章的不同版本，一个新的点，有点老，只有一个不同的格式（如HTML、Postｓｃｒｉｐｔ，{模型）和重复的文件在1999的检测算法。重复的内容可以归结为以下四种类型：
1。如果2个文件的内容和格式没有区别，这种重复称为完全重复布局。
2。如果2个文档相同，但格式不同，则称为完全内容副本。
三.如果2个文档具有相同内容和相同格式的相同部分，则称为部分布局重复。
4。如果2个文档具有相同部分的重要内容，但格式不同，则称为部分内容重复。
近似重复网页发现技术是通过技术手段快速、全面地发现这些重复信息的一种方法。如何快速准确地找到这些相似的网页，已经成为提高搜索引擎服务质量的关键技术之一，寻找重复或近似网页是搜索引擎的优势：
1、首先，如果我们能找到这些重复的页面并从数据库中删除它们，我们就可以节省部分存储空间，然后我们就可以利用这个空间存储更有效的Web内容。同时，也提高了web检索的质量。
2，其次，如果我们可以分析过去的信息收集和发现提前复制的网页，我们可以避免这些网页在未来网页采集的过程，从而提高有效网页的采集速度。有研究表明，重复的页面不在时间太多的变化，所以它是有效的选择重复的页面设置为索引的几页。
三.另外，如果网页图像较高，则表示页面相对重要，应该在网页的集合中给予较高的优先级，并且当搜索引擎系统响应用户查询和输出结果的排序时，应该给予更高的权重。
4。从另一个角度来看，如果用户点击死链接，您可以将用户引导到同一个页面，这样可以有效地增加用户的搜索体验。因此，发现近似镜像页面有助于提高搜索引擎系统的服务质量。
两。基本处理流程
通过对现有技术的分析，可以归纳出以下几个核心技术来解决这一问题。每个技术基本上都是由这些技术点组成的。
1、文档对象的特征提取：分解文档内容，表示多个文档的特征集，这一步是计算以下几个方面的相似度。
2。特征压缩编码：通过哈希编码和其他文本到数字的字符串映射方式，方便后续的特征存储和特征比较。它可以减少存储空间并加快比较速度。
三.文档相似性计算：根据文档特征的比例确定文档是否重复。
4。聚类算法：通过迭代计算，根据相似性计算计算文档集是否相似。
5。工程问题：提出了一系列速度优化算法，使算法在考虑大数据量计算速度的情况下切实可行。
我们可以从几个不同的角度对现有方法进行分类：
l根据所使用的信息，现有的方法可分为三类。
1。只使用内容计算相似度
2。用内容和链接关系计算相似度
三.结合内容、链接关系和URL文本进行类似的计算
现有的评价方法大多是：利用文本相似度进行识别，另外两种使用链接和URL的文本还不是很成熟，而且在引入效果等方面的效果并不明显，所以从实用的角度或选择基于内容的相似度计算算法。
现有的基于特征提取的粒度方法可分为三类。
1。根据单词的粒度进行特征提取。
2、根据瓦的粒度特征extraction.shngle是一个连续的字，这是文档和词之间，小于文件大小大于字的大小。
三.根据整个文档的这个级别的粒度来提取特征
评价:
目前这个领域有很多工作类似的方法在信息检索中找出类似的文件，其本质和瓦是一样的，都是重合度比较两个文件，但不同的是，瓦是成块的数目，规模比较大，但信息实际上是利用字的大小为粒径较小的电缆检测方法的计算速度更快的规模越大，越小的颗粒尺寸的计算速度较慢，所以信息检索方法是不实际的，对瓦的改进和新方法的发展趋势是越来越大，从而解决在速度的实际应用问题的。他最大的大小是每一个文档中都有一个散列编码函数（如MD5），只要相同的编码文档完全相同，但大小太大带来的问题是改变文档不能分辨细微，可以判断相同部分是否相同，到同一程度而不判断。
因此，现有的方法还可以从以下角度进行分类：粒度。粒度最小的字；中间大小瓦；最大粒度是整个文档；因此，瓦级的方法实际上是速度和精度之间的权衡。你可以探索不同大小的影响，如句子为单位编码，编码的编码单元段落为单位大小的不同，也可以考虑动态编码：第一段编码来判断，如果发现有些相似，然后根据粒度细如字级的句子更超级瓦是放大尺寸不同的零件，尺寸越大，更快的效益计算（对于MD5的整个文档，每个文档都是一个散列编码，然后同一排序，查找，是最快的），缺点是会遗漏很多类似的文档；粒度越小越好，召回率比较高，缺点是计算慢下来。
根据重复的级别进行分类，重复三个级别：
1。镜像站点：根据站点内类似页面的数量来判断。实现相对简单。
2。相同的网页：比较简单和速度比较块。根据页面的MD5完整文档，每个文档都由一个散列编码，然后排序，它会发现相同的。
3。同一页面的一部分：实现是相对负责的，大部分工作都在这部分。
评价:
三级应该是从最高水平到较低水平，因为大比例（22%）的内容是一样的，这部分是比较简单的，但如果部分已经被认可，那么在计算同一页的一部分会少很多，所以它应该能够减少整个计算的时间。
l根据时间可分为以下三类。
（1）当抓取页面时，带宽减少，存储量可以减少。
（2）指数将在指数之后进行加权；
（3）当用户检索重复重量的时间时，它增加了准确性并占用了时间；
评价:
你可以把三的时间一个或所有的谷歌，可能是这两种方法的2和谷歌3的结合，许多既定的想法在后台计算和实时计算，如相关的计算，计算的重要性得分，在用户输入查询后初始数据集得到的，和然后重新调整订单，根据设置的文件数据之间的关系；如发生重复，重复第一的背景下，为了提高查询结果的准确性是返回，返回文档集合内，根据的描述；对重新计算部分；该文件是重复的，因此，提高估计的准确性结合许多其他相关算法的组合策略，为了加快实时计算的速度，可以对缓存部分的组合部分进行计算。
l有几种方法可以选择不同的特性：
1。完全保留特征
2。特征选择，设置不同的选择策略以保留某些特征并放弃其他特性。
A.如字（I-Match）与字级小重量
对于鹅卵石的方法，你可以保留一些鹅卵石来抛弃其他的鹅卵石。
（1）一是保留指纹i位置的鹅卵石，另一部分丢弃。
（2）一种是每一种抽样保留和其他放弃；这两种获得的文件条数较长；
（3）选择最小的K层，得到卵石的固定长度；
（4）计算出每一层的84个拉宾指纹函数，保留最小值的84个指纹，此方法是固定的。
对于卵石类方法，它也可以分为固定长度和长块分割算法。
固定长度的算法：快速，但如果在内容变化不大（如插入或删除一个字符或字），影响会更大。例如，瓦及其改进方法（超级瓦），CSC及其改进方法（csc-ss）。
可变长度的算法：速度比较慢，但含量变化引起的影响。例如，CDC，tttd等算法。
评价：为了提高计算速度，一种特征提取策略，摒弃一些特征，保留一些特征，通过减少特征数来加快计算速度。另一个策略是尽可能增加粒子的大小，如super-shingle，mega-shingle甚至基本文件；为了提高算法的效果，采取的策略是不再切割算法如CSC算法的内容；三个策略是加快速度和精度的方向发展。
一些初步结论：
1、对于信息检索类型，由于其特征选择是基于词的，计算速度是一个根本性的问题，因此基本上是不实用的。
2。从所使用的信息中，实际系统应基于使用文本内容来区分相似性，消除链接信息和其他方法的使用；
3，从特征提取算法的粒度，应根据shinlge级粒度的算法甚至文档级粒度的算法；和瓦级算法应优先考虑局部特征的放弃和可变长度的算法。
4、从去评分角度出发，分别将同一文档和同一文档识别分开，首先确定同一文档，从而有效地加快计算速度。
5。从考虑时间上考虑，可以考虑后台权重与实时权重的结合，从而提高减肥效果；
6。从压缩编码的方法来看，最有效的方法是拉宾指纹变异算法。
7。从聚类方法来看，最有效的方法可能是联合查找算法，目前该方法主要采用快速算法。
8。从整体方法的选择来看，改进后的shinlge方法应选择并在此基础上进一步改进。
三。方法效率比较
1。锻炼方法：时间效率O（（MN）2），其中m是SHINGLE的大小，N是文档的数量。计算时间为3000万个文件，10台机器计算一天，或一台机器计算10天。
2、改进的鹅卵石方法（关于近重复网页集群的演化）：时间效率接近线性o（Web），计算时间为：1亿5000万，网页计算3小时。
三.IMaCh方法：在最坏的情况下，时间复杂度（O（D日志D）），且速度更快
4。布隆过滤器的方法：10k数据成本约66ms；
从计算效率来看，速度排序如下：
1。改进卵石法；
2。IMatch方法；
三.布鲁姆滤波法；
4。瓦法；
四。当前代表性解决方案分析
1。卵石法（1997）
答：特征提取
瓦法：所谓瓦N-gram方法常用于类似于自然语言处理，是每个连续的窗口大小为n的字符串的话，作为一个Shingle人，这两者之间的区别是，瓦是一个收集这些字符串相同的字符串将被合并成一个，和n是由于考虑文本的线性结构，所以没有相同的步骤。每一个鹅卵石的特征是一个文件，一个文件是由所有这些Shingle组成的。
B.压缩编码
40位长度拉宾指纹法；在存储方式上，它与传统的信息检索领域中的反向文档技术相似，存储信息记录在文档中出现的特征，然后进一步计算文档的相似度。
文献相似度计算
（1）相似性：两个文献A和B，相似性意味着相同数量的鹅卵石相当于Shingle总数的总和。
（2）包含度是指某一文件中相同的卵石数所占的比例。
优化措施：
（1）分布，然后合并；
（2）在超高频抛下鹅卵石，发现这些鹅卵石是无意义的碎片；
（3）保存同一文档的一个副本以供群集；（压缩后的文档是否具有相同的值）
（4）超级瓦：在Shingle的卵石上，计算较大结构的相似性，以节省存储空间；
2。可能的方法到2。谷歌
答：特征提取
与鹅卵石方法类似，不同之处在于每个单词根据散列函数确定属于哪个列表，因此每个文档由几个这样的列表组成；
B.压缩编码
指纹方法；对于构成文档的列表，计算指纹方法。
文献相似度计算
编辑距离（编辑距离）：如果两个文档有任何指纹相似性，则它们被判断为接近内容。
D.聚类方法
首先对文档ID进行排序，然后采用联合查找聚类方法，聚类结果与文档集相似。
E.优化措施
三.HP实验室方法（2005）
答：特征提取
基于块的算法内容：可变长度的非固定长度的块算法（tttd算法），将一个文件分成几个不同长度的块，每个块作为文本特征。与瓦片法相比，变长块法可以提高系统的查全率。
B.压缩编码
128bit MD5散列方法；每篇文章压缩和由多个二元组编码；
文献相似度计算
（1）构建所有文档和块的两个分区图；
（2）查找文档A中包含的所有块，并计算包含在该块中的其他文档；
（3）计算这些文档和一个文档之间的相似度；
D.聚类方法：联合查找算法
优化措施：二分分区，本质上，将大规模数据划分为小规模数据，以识别和合并结果。它相当于分布计算；
4.bloom过滤器（2005）
（1）。特征提取方法
基于内容的内容定义（块CDC）：CDC的文件分割成较长的内容片段，和分割的边界是由拉宾指纹和预判断数值匹配的编程者。
（2）编码（构造布鲁姆过滤器集合元素）
对片段进行分段编码，布鲁姆过滤器的编码如下：整个文档由片段组成，文档由两个m值长的数组表示，当将一个元素（内容片段）编码成一个集合时，它使用k散列函数对每个散列函数进行编码。m位置的位置设置为1。这个技术主要用于确定一个元素是否包含在集合中。
（3）相似性计算方法
布鲁姆过滤器方法：对于两个编码文件（两个m值二值数组），我们通过位逻辑运算和。如果许多位置都是1，那么两个文档被认为是近似的。
（4）优势
1。文档编码简单，易于存储。
2。由于计算相似度是位逻辑运算，所以速度比较快。
三.这是更容易判断文件包含关系比锻造的方法。（一个文件包含一个简短的文件）
5。内容+链接关系（2003）
1。特征提取方法
该方法在提取特征的同时考虑了文档的内容和链接因素。
内容因子：通过随机投影技术将高维空间的内容映射到低维空间，并用实数表示。如果两个文档映射的数目比较接近，两个内容之间的相似度是相似的。
链接因子：通过考虑与PageRank相似的连接关系，我们通过计算网页的内容因子获得得分，并通过链接将其传播到其他网页。
2。相似度计算方法
每个文档由两个元组组成，RP表示内容部分的值，HM表示链接关系的值。如果两个文档中的每一项之间的差值小于指定值，则判断两个文档相似。
三.影响
只有内容精度为90%，二者的组合精度是93%，可以看出，链接的作用不明显，这可能与链接使用这种方法的方法有关，因为内容是通过链接计算的。
6.i-match方法（2002）
（1）I-Match不依赖于完整的信息分析，但使用的数据集提取文档的主要特征、统计特征和废弃的非主要功能。输入一个文件，滤波器的一些关键特征根据单词的IDF值，并计算文件的哈希值的独特。具有相同散列值的文档是重复的。
（2）使用SHA1哈希函数，因为它是快速，适用于任何length.sha-1生成一个20字节或160位的散列值，并使用一个安全的冲突解决算法，使得不同的标记字符串生成相同的散列值的概率（令牌流）是非常低的。插入一个元组成树结构的时间复杂度（O（D日志D）），和其他的数据结构，如数据结构（哈希表）需要（O（d））。重复的识别（副本）是基于数据插入到哈希数组或树结构。任何哈希值冲突都表示检测到重复的内容。
（3）在最坏的情况下，时间复杂度是（O（d log d）），而且速度更快。
声明：本文内容用于数码产品信息整理与选购参考，具体价格、库存、售后政策以官方渠道和电商页面实时信息为准。