由 URL采集专家 
手上有一份八万条网址的清单，可能来自一次全站采集，也可能是客户直接甩过来的 Excel。想拿它做内容盘点、改版映射或者内链规划，第一步绕不开分类：哪些是首页，哪些是栏目页，哪些是具体内容页。靠眼睛看，八万条能看到明年；靠规则拆，一个下午就能收工。
URL 自己会报身份
先说一个基本判断：路径层级就是页面的身份标签。层级越浅，越像入口；层级越深，越像终点。三条经验规则能覆盖九成以上的情况。
- 首页：域名后面只有一根斜杠，或者跟着 index、default 这类默认文件名。
- 栏目页与聚合页：域名后面只有一段路径，比如 /zixun/、/wenda/，这一段通常是分类词、拼音或英文单词。
- 详情页：路径两段以上，且最后一段是长拼音、英文长串或者纯数字 ID。
拿几种典型形态对照一下更直观：
| URL 形态 | 判定 | 主要用途 |
|---|---|---|
| 域名根目录 | 首页 | 权重总入口 |
| 一段路径，分类词 | 一级栏目 | 聚合内容、分配权重 |
| 两段路径，日期段 | 归档列表 | 分页与时间聚合 |
| 长拼音 / 数字结尾 | 详情页 | 内容页、内链终点 |
先洗数据，再分类
在脏数据上做分类，结果一定脏。清洗要做四件事：统一 http 与 https、去掉带 www 与不带 www 的重复、砍掉问号后面那一串参数尾巴、去掉井号锚点。
这四步少做一步，同一条链接就会以三四种面貌出现，分类统计直接翻倍，八万条能算成二十万条。网址归一化的具体规则我在网址去重总是漏掉一半那篇里拆过，这里不重复。
按斜杠切段，批量打标
思路很土但很有效：数斜杠。把每条 URL 按斜杠切开，数出有效段数，段数就是层级。
- 把网址单独放一列，按斜杠分列，得到各段内容。
- 新建一列记录段数，统计非空段的数量。
- 按段数写判定：一段看内容定首页或栏目，两段看是否日期段，三段以上基本是详情页。
- 再用关键词规则修正：最后一段是纯数字、长度超过十五个字符、带 html 后缀的，一律判为详情页。
要注意的是，八万条数据用表格软件做这套会卡。分列和公式在几万行上就开始转圈，保存一次等半分钟。这种量级更适合丢进文本处理工具按规则批量打标，几秒钟出结果，比跟表格较劲省事得多。
分完类能干什么
分类本身不是目的，三种用法最实在。
一是内容盘点。数一下栏目页多少、详情页多少、每个栏目平均挂多少篇，哪个栏目是空壳、哪个栏目在超载，一眼就看出来了。做内容规划前先看这张表，比凭感觉补文章靠谱。
二是内链规划。详情页需要栏目页做上行入口，栏目页需要详情页做下行出口。分好类才知道哪一端缺链接，具体的设计思路见站内内链怎么设计才有效。
三是改版映射。老站换结构最怕新旧链接对不上。先按层级把旧链接分好类，再按类别批量映射到新目录，比一条一条手工配跳转可靠得多。
顺手把层级也改掉
分类过程中经常会发现，同一类内容被埋在三四层目录里。这种结构对抓取和权重传递都不友好。命名层面的事，URL 用拼音、英文还是数字 ID 那篇讲过了，这里补一句层级：重要页面尽量压在三层以内，超过四层的详情页，考虑用扁平化路径收一收。
整件事里真正费时间的只有采集和清洗两步，而这两步恰好最容易自动化。我自己的做法是用全站 URL 采集一次把链接抓完，再用文本筛选按层级规则批量打标，人工只做最后一遍核对，八万条的量级一个下午能结束。
需要说明的是，采集只针对公开页面，遵守目标网站的 robots.txt 和相关法律法规，不碰需要登录才能看的内容。
给你的建议
如果每个月都要处理这种清单，别再手工分类。可以先到软件工具一览看看对应功能，全站 URL 采集、文本去重、按规则筛选都是配套的。这套采集软件是原创作品，一口价 200 元，一次购买终生技术支持，加微信/QQ：13327215 说清你的数据量和使用场景，我直接告诉你哪几步能自动化、哪几步还得人工。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq