由 URL采集专家 
“这段是我自己写的，只是换了几个词”——不少站长这么解释自己的内容，然后眼看着排名上不去。搜索引擎判断重复不靠人眼读一遍觉得像不像，它做的是一件很机械的事：把文章切成片段、算指纹、做比对。搞清楚这套流程，很多”我明明改过”的困惑就有答案了。
第一步不是比对，是切片
一篇文章进来，先按段落、句子甚至更小的窗口切成一段一段，业内叫 shingle。中文通常按连续若干个字切，英文按连续若干个词切。切完之后每段算一个哈希值，就是这段内容的指纹，一篇文章最后会变成几百上千个指纹。这一步决定了后面所有判断的颗粒度：切得细，改几个字也能查出来；切得粗，整段搬运反而更容易被抓。
指纹怎么比对
两篇文章的指纹集合重叠度越高，被判重合并的概率越大。这里有几个细节值得知道：集合比对不看顺序，所以把段落前后调换并不能洗掉重复；局部修改只影响那一小段指纹，整体重叠率还是很高；算法还会保留连续片段的最长匹配，用来区分”引用了一小段”和”整篇搬过来”这两种完全不同的情况。
常见的洗稿手段为什么不管用
| 手段 | 为什么没用 |
|---|---|
| 同义词替换 | 指纹按连续片段算，换掉几个词，周围片段还是一样的 |
| 调换段落顺序 | 集合比对不看先后，重叠率不变 |
| 换标题、加配图 | 正文指纹没动，主体相似度照旧 |
| 中英互译再译回 | 指纹确实洗掉了，但语句变形，可读性和转化都受损 |
真正有效的是加进机器抓不到的东西：自己测出来的数据、自己做过的案例、只有一线从业者才知道的细节。这些内容换不了同义词，也没法从别处搬。
哪些重复其实不算问题
模板区块（导航、页脚、版权声明）、产品参数表、分类页的列表结构，这些重复是全站性的，搜索引擎有成熟的模板识别能力，不会因此判定整站抄袭。真正要小心的是正文主体大面积雷同：同一批产品做几十个地区页，除了城市名其余一字不差，这才是风险点。
自己怎么查一遍
- 抽样：站内挑十篇同主题文章，两两对首段和结尾，看句式是不是一个模子；
- 跑相似度：用文本工具比对正文，重复率超过六成基本等于同一篇；
- 看收录表现：同一批内容里只有零星几篇被收录，通常是已经被判重合并了；
- 按处理方式分级：能合并的合并，能规范的用 canonical，值得留的改写，不值得的直接下架，具体思路见canonical 用错比不用更糟。
行动建议
原创度是长期资产，别指望改几个词就过。批量做站的时候，先把手上的文本素材过一遍去重，避免同一段话在几十个页面里循环出现，百万文本去重工具就是干这个的，跑一遍比人工翻快得多。工具链上的其它功能可以看软件工具一览。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq