由 URL采集专家 
接手一个别人做了几年的老站，后台数据往往对不上号：CMS 里显示八百篇，实际能打开、有收录的可能只有一半。与其猜，不如先把整站的 URL 全部摸出来，拿到一份真实的页面底账，后面的判断才有依据。
为什么盘点 URL 比翻后台靠谱
后台的文章列表只告诉你”发过什么”，不告诉你”现在还有什么”。老站常见的情况是：早年删过栏目、改过固定链接、有些页面挂了却还留在数据库里。直接看后台，你很容易高估这个站的资产。
而搜索引擎真正认的，是当前能访问、能被抓到的那批链接。用全站 URL 采集把整站链接爬一遍，多线程跑下来几千个页面几分钟就出结果，导出成 txt 之后，这份清单就是你后面做任何决策的基础：留什么、删什么、改版怎么映射，都从它出发。
采集参数怎么设，清单才干净
老站结构杂，直接全速跑容易采出一堆垃圾行。几个关键参数建议这样设：
| 参数 | 建议值 | 原因 |
|---|---|---|
| 采集深度 | 3–5 层 | 老站层级深，太浅会漏长尾页面 |
| 线程数 | 适中（视服务器承受力） | 对方是小主机，打太快容易把站打挂 |
| 链接过滤 | 排除跳转、锚点、附件 | 减少重复行和无效行 |
| 导出格式 | txt 或 csv | 方便后续去重和导入其他工具 |
这里提醒一句：采集前先看一眼目标站的 robots.txt，只抓公开页面，遵守对方网站的规定和相关法律法规。
清单拿到手，先做三件事
原始清单还不能直接用，拿到手建议按这个顺序过一遍：
- 去重。分页、翻页参数、带锚点的链接会重复出现，先做一遍批量去重，把几千行压成真实的页面数。具体清洗规则可以参考之前写的批量网址去重与筛选那篇。
- 对收录。拿清单抽样核对收录情况，确认哪些页面搜索引擎还认。发现大量页面不收录的，按内容不收录的排查顺序先找原因，别急着动手改。
- 分类。按目录结构或 URL 特征把页面分成栏目页、内容页、功能页几堆，每一堆单独评估价值。
做完这三步，这个站的家底才算真正摸清：多少有效页面、哪些栏目还有流量价值、哪些是纯负担。
几个容易踩的坑
一是动态参数。老站常有 ?id=123 这种链接，同一个页面能生成好几条 URL，不去重的话页面数会虚高一大截。二是死链。爬到的链接不等于活链接，重要的页面最好再过一遍连通性检测。三是层级遗漏。有些页面不在导航里，全靠老内链撑着，采集深度不够就会漏掉，建议深度给足再跑一遍。
工具与收尾
上面整个流程，从全站 URL 采集、多线程抓取，到内置的文本去重和导出，都在我们的采集软件里可以一站完成，不用在几个工具之间倒腾数据。这款软件是原创开发，一口价 200 元，一次购买终生技术支持，有需要的加微信/QQ：13327215 聊，更多工具也可以先到软件功能一览页看介绍。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq