由 URL采集专家 
内容做着做着，站里就会冒出一堆「长得差不多」的页面：列表页翻页、带参数的排序页、打印版、还有两篇只差几句话的稿子。搜索引擎碰到重复内容不会直接惩罚你，但会把选择权留给自己——它挑一个版本收录，未必挑你想推的那个，权重就这么悄悄散掉了。这篇把重复内容的来源、四种处理方式和 canonical 的几个坑一次理清。
重复内容都是哪来的
- 参数页：同一篇内容因为排序、筛选参数不同，生成了一堆URL；
- 翻页列表：列表页第 2 页往后和第 1 页高度相似；
- 伪重复：同一个话题发了两篇只改开头结尾的稿子，批量产内容的站尤其常见；
- 技术副本：打印版、移动版，以及 http/https、带不带 www 的版本同时可访问。
四种处理方式，按场景选
| 方式 | 适合场景 | 注意点 |
|---|---|---|
| canonical | 内容确实要多入口保留（翻页、参数页） | 指向想收录的规范版，用绝对地址 |
| 301 重定向 | 旧URL彻底废弃，合并到新页 | 权重转移最干脆，改版合并必备 |
| noindex | 给用户看但不该进索引的页（如站内搜索结果页） | 别和 canonical 同时用，信号打架 |
| 从源头关掉 | CMS 关掉打印版、限制参数组合生成 | 最省事，建站时就该想清楚 |
一句话原则：页面还想留就 canonical，页面该死就 301，页面只给人看就 noindex，能不生成就别生成。
canonical 最容易踩的三个坑
一是链成环：A 指 B、B 又指 A，或者一路指下去收不了尾，蜘蛛直接放弃判断，整组页面都悬着；二是顺手把 canonical 指向首页——URL 上带个会话参数就懒得写规范地址，整页的信号全送去了首页；三是分页全指第 1 页，翻页里的内容从此进不了索引，列表型流量白白丢掉。改之前建议先用收录查询核对这些URL现在的状态，谷歌这边可以用谷歌收录查询工具批量抽查，看哪些版本被收录、哪些被无视，再动手改。
自查顺序
先抽站内标题搜一遍，看同一篇内容是不是有多个版本被收录；再把可疑URL导出来，逐条核对状态码和页面输出的 canonical；最后按上面的表逐类处理。改完别急着下结论，收录恢复有个过程，等一两周再复查；要是改完还是没动静，多半还有别的问题压着，按之前写的收录慢的六步排查把其他环节过一遍。
写在最后
重复内容的治理是体力活也是细心活，批量导出URL、核对状态码这类活交给工具跑能省大半时间，我们这款从2007年做到现在的原创采集软件就能批量处理，感兴趣看下软件功能一览。先从参数页和翻页这两类查起，它们藏得最深、散权重也最凶。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq