由 URL采集专家 
手上有几万条长短不一的 URL，想做域名分布统计、批量查收录、筛同类站，第一步都是把 URL 转成主域名。这一步听着简单，真到十万条规模就完全是另一回事：格式脏得很，带协议头的、带参数的、带端口的、大小写混杂的混在一起，手工复制域名段一天也干不完。下面是我固定用的完整流程。
为什么先转域名再处理
URL 是页面级的数据，域名才是站点级的数据。你要回答「这批链接来自多少个站」「哪个站出现的次数最多」「同一个站上还挂了哪些页面」，都必须以域名为单位。先转域名，后面的去重、统计、批量查询才有统一的口径，否则同一站点的几百条 URL 会把统计撑到失真。
第一步：规范化，去掉干扰格式
截取主域之前先把格式统一，否则同一个域名会被算成好几个：
- 去掉协议头（http:// 或 https://）
- 去掉路径、问号后面的参数、#锚点
- 统一转小写
- 去掉末尾斜杠和端口号
| 原始 URL | 清洗后 |
|---|---|
| https://WWW.Example.com/a/b?id=3 | www.example.com |
| http://example.com:8080/x/ | example.com |
| example.com/index.html#top | example.com |
这一步手工在表格里做几百条还行，上万条就要交给工具了。
第二步：批量截取主域名
规范化之后，剩下的事就是按斜杠切一刀。我用站内的网址转域名工具批量处理：整列粘贴 URL，一键输出主域名列，顺带支持按后缀筛——比如只留 .com、.cn，或者剔除不关心的后缀。有个细节要注意：.com.cn、.co.jp 这类二级后缀要按两段处理，工具里选好规则，不然截出来的「主域」是假的。
第三步：去重与统计
转完域名重复率通常很高——同一个站点可能贡献几百条 URL。先去重再统计才有意义，具体做法可以参考之前写的「批量网址去重与筛选」那篇。去完重得到一份干净的站点清单，做一次透视就能回答：这批链接覆盖多少个站、头部站点是谁、长尾站点占多少比例。
第四步：清洗完的域名清单能干什么
- 批量查收录：把域名清单丢进谷歌收录查询工具，看哪些站进了索引、量级如何
- 批量检测网址有效性：筛掉死链和已经挂掉的站
- 域名注册查询 / IP 反查：确认域名是否可注册，找同 IP 站点
- 建外链或友链候选池：按后缀、按站点类型初筛一轮再人工复核
两个容易踩的坑
一是带参数的 URL 截完主域后还挂着尾巴，记得二次清洗一遍；二是短链和 CDN 跳转会让你统计出假域名，重要的统计做之前先把链接解析到真实地址。这套流程的价值在于把「页面级」数据变成「站点级」数据，后面所有批量操作都建立在一份干净的域名清单上。如果你手上正好有一批 URL 要处理，站内的软件工具一览里有转域名、去重、检测一整套工具可以配合用。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq