信息指纹与消重算法

作者:christian 日期:2007-04-17

信息指纹：就是提取一个信息的特征，通常是一组词或者一组词＋权重，然后根据这组词调用特别的算法，例如MD5，将之转化为一组代码，这组代码就成为标识这个信息的指纹。

从理论上讲，每两个不同文本的特征信息是不同的，那么得到的代码也应该是不一样的，就象人的指纹。

搜索引擎在建立索引的时候需要对重复内容的网页进行识别和消重，这就要用到信息指纹。

Tags: 信息指纹信息指纹消重算法消重算法