云企客，他们说的页面去重是什么意思呢

       在互联网如此发达的今天，同一个资料会在多个网站发布，同一新闻会被大部分媒体网站报道，再加上小站长和SEO人员孜孜不倦地网络采集，造成了网络上拥有大量的重复信息。然而当用户搜索某个关键词时，搜索引擎必定不想呈现给用户的搜索结果都是相同的内容。抓取这些重复的网页，在一定程度上就是对搜索引擎自身资源的浪费，因此去除重复内容的网站也成为了搜索引擎所面临的一大问题。

       搜索引擎优化中，网站内部优化至关重要，其中网站内部还需要注意页面的重复。即：同一篇文章经常会重复出现在同一个网站的不同网址上。去重的工作一般会在分词之后和索引之前进行(也有可能在分词之前)，搜索引擎会在页面已经分出的关键词中，提取部分具有代表性的关键词，然后计算这些关键词的“指纹”。每一个网页都会有个这样的特征指纹，当新抓取的网页的关键词指纹和已索引网页的关键词指纹有重合时，那么该新网页就可能会被搜索引擎视为重复内容而放弃索引。

       搜索引擎并不喜欢这种重复性的内容。用户搜索时，如果在前两页看到的都是来自不同网站的同一篇文章，用户体验就太差了。虽然都是内容相关的。搜索引擎希望只返回相同文章中的一篇，所以在进行索引前还需要识别和删除重复内容，这个过程就成为“优化去重”。

       去重的基本方法是对页面特征关键词计算指纹，也就是说从页面主题内容中选取最有代表性的一部分关键词（经常是出现频率最高的关键词），然后计算这些关键词的数字指纹。这里的关键词选取是在分词，去停止词，消噪之后。实验表明，通常选取10个特征关键词就可以达到比较高的计算准确性，再选取更多词对去重准确性提高的贡献也就不大了。

       典型的指纹计算方法如MD5算法（信息摘要算法第五版）和Rabin指纹计算方法等。这类指纹算法的特点是，输入（特征关键词）有任何微小的变化，都会导致计算出的指纹有很大差距。

       了解了搜索引擎的去重算法，SEO人员就应该知道简单地增加“的”“地”“得”，调换段落顺序 还有的甚至是直接将文字替换这种所谓伪原创，并不能逃过搜索引擎的去重算法，因为这样的操作无法改变文章的特征关键词。而且所搜引擎的去重算法很可能不止于页面级别（页面权重），而是进行到段落级别，混合不同文章、交叉调换段落顺序也不能使转载和抄袭变成原创。

       “去重”算法的大概原理一般就是如上所述，有兴趣的朋友可以了解一下I-Match、Shingle、SimHash及余弦去重具体算法。搜索引擎在做“网页去重”工作之前首先要分析网页，内容周围的“噪声”对去重结果多少会有影响，做这部分工作时只对内容部分操作就可以了，相对来说会简单很多，并且可以很有效地辅助产出高质量的“SEO产品”。作为SEO人员只要了解实现原理就可以了，具体在产品中的应用，需要技术人员来实现。此外还涉及效率、资源需求等问题，并且根据实际情况“去重”工作也可以在多个环节进行(比如对核心词的分词环节)，SEO人员只要稍微了解一些原理，能够为技术人员建议几个方向就很不错了(技术人员并不是万能的，也有不熟悉、不擅长的领域，在特定时刻也需要别人提供思路)。如果SEO人员能在这些方面和技术人员进行深入的交流，技术人员也会对SEO另眼相看，至少不会再认为“SEO人员就只会修改标题、改链接、改文字之类‘无聊’的需求”了。