在互联网如此发达的今天，同一资料会在多个网站发布，同意新人会被大部分媒体网站报道。再加上网站站长和SEO人员的网络采集，造成了网络上拥有大量重复的信息。然而当用户搜索某个关键词时，搜索隐形必定不想呈现给用户的搜索结果都是相同的内容。抓取这些重复的网页，在一定意义上就是对搜索引擎资源的浪费，因此去除重复内容的网页也成了搜索引擎所面临的一大问题。
网页去重一般在蜘蛛抓取部分就存在了
在一般的搜索引擎江湖中，。去重步骤在整个搜索引实施的越早，实施的越早越可以节约后续处理系统的资源使用。搜索引擎，一般会对已经抓取过的重复页面进行归类处理。比如判断某个站点是否包含大量的重复页面，或者，该站点是否完全采集其他站点的内容等，你决定以后对该站点是否直接屏蔽抓取。
搜索引擎去重步骤的一般会在分词之后和索引之前进行
(也有可能在分之前)，搜索引擎会在页面已经分出的关键词中提取部分具代表行的关键词，然后计算这些关键词的指纹。每一个网页都会有这样的指纹特征，当被抓取的网页的关键词和索引网页的关键词有重合时，那么该网页就被视为重复内容而放弃索引。
实际工作中的搜索引擎不仅使用分词步骤所身处的有意义的关键词，还会使用连续切割的方式提取关键词，并进行指纹计算，连续切割，就是以单个字，向后连续的方式进行切割，比如。“百度开始打击买卖链接” 会被切成“百度开”“度开始”“开始打”“始打击”“打击买”“击买卖”“买卖链接”。然后从这些词中提取部分，关键词进行智能计算，参与是否重复内容的对比。这只是搜索引擎识别重复网页的基本算法，还有很多其他对付重复网页的算法。
因此网络上流行的大部分伪原创工具不能欺骗，所以就是把内容做的鬼都读不通，所以理论上使用普通伪原创工具，不能得到搜索引擎的正常搜录和排名。嗯嗯。但是由于百度并不是对所有的重负页面都直接抛弃，不索引，而是会根据重复网页所在网站的权重，适当放宽标准，这样使得部分作弊者有机可趁。利用网站的高权重，大量采集，其他站点的内容，并获取搜索流量。不过自201 2年6月份以来百度搜索多次升级算法，对采集重复信息，垃圾页面进行了多次重量级打击。所以在面对网站内容是不应该在意伪原创的角度去建设，而是需要一，对用户有用的角度去建设，虽然后者的内容不一定都是原创，所以我们，还是要以高质量的内容去进行网站内容的更新。
I-MATCH,SHINGLE,SIMHASH及余弦去重具体算法
搜索引擎去重算法的大概原理，一般就如上所述，有兴趣的朋友，可以去了解一下。搜索引擎在做网页去重，工作之前首先要分析网页，内容周围的噪声对去重结果多少也会有影响。做这部分工作是只对内容部分操作就可以，相对来说简单很多并且可以很有效的辅助，产出高质量的SEO产品。作为SEO人员。只要了解实现原理就可以，具体在产品中的应用，需要技术人员来实现。比如还设计效率，资源需求等问题，并且根据实际情况去重工作也可以在多个环节进行。SEO人员只要了解一些原理，能够给技术人员建议方向就可以了。如果SEO人员能在这些方面和技术人员进行深入的交流，技术人员也会对SEO人员另眼相看，至少不会再认为SEO人员就只会修改标题改链接，改文字之类的。
