由 URL采集专家 
做词表采集的人都碰过这个场面：输入两百个关键词，跑完导出两万条链接，兴冲冲打开一看，能用的不到一半。剩下的是广告位、百科词条、平台问答、站内聚合页，还有一堆带参数的重复链接。这些杂质不剔掉，后面的关键词分析和竞品对比全是噪音。
先认清杂质分几类
不同杂质要用不同刀法，混在一起处理只会越弄越乱。
| 类型 | 典型特征 | 处理方式 |
|---|---|---|
| 广告与推广位 | 跳转域名、目标带推广参数、域名与搜索词无关 | 按域名黑名单剔 |
| 平台内容页 | 百科、知道、贴吧、问答、自媒体号 | 看目的，做竞品分析时剔，做选题时留 |
| 聚合与站内搜索 | 路径含搜索、标签、列表等字样 | 整类剔除 |
| 重复与镜像 | 同页面不同参数，http 与 https 并存 | 归一化后去重 |
| 自家站点 | 自己域名下的页面 | 单独拎出来，别混进竞品池 |
分清楚类别之后你会发现，真正需要人工判断的只有第二类，其它四类都能用规则一刀切。
第一刀：域名黑名单
最省力的永远是按域名砍。把两万条链接的域名提取出来按出现次数排序，前二十个域名往往吃掉三到四成。这二十个基本都是平台站，一次性加进黑名单，后面的活立刻轻一半。
黑名单得养。每次发现新的高频杂质域名就补一条，做上三个月，它会变成一份挺有价值的资产。换行业、换搜索引擎都能直接复用，不用重新琢磨。批量提取域名可以用网址批量转域名工具，十万条也就一会儿。
第二刀：路径关键词规则
域名砍完，剩下的是各种路径形态的杂质。几条规则基本够用。
- 路径里带 search、query、tag、list 这类字样的，大概率是站内搜索或聚合页。
- 层级超过四层且跟着一长串参数的，多半是筛选组合页，收录价值低。
- 后缀是 pdf、doc、xls 的，看需求留；做网页结构分析时直接剔。
- 整条链接超过一百五十个字符的，先剔，这类几乎都是参数堆出来的。
规则要写成能执行的条件，而不是靠眼熟。按关键词、按长度、按正则批量过一遍，几十万条几秒钟跑完，比在表格里一层层拉筛选快太多。
第三刀：归一化之后再去重
同一个页面可能以四种形态出现：http、https、带 www、不带 www，再加上各种来源参数。不统一就去重，同一个页面会被算四次，竞品页面数量的结论直接失真。
参数、锚点、结尾斜杠先统一处理，再整体去重，规则在批量网址去重与筛选里写得很细。这里只强调一个顺序：先归一化，再去重。顺序颠倒，去重率会低得让你怀疑工具坏了。
剔完一定要抽检
规则是死的，网站的写法是活的。每次跑完至少抽三十条看两件事：有没有该留的被误杀，有没有该剔的漏网。
误杀比漏网麻烦得多，因为漏网的你会看见，误杀的你看不见。抽检时把剔除的链接单独存一份，别直接删。下一轮调规则时拿这份样本回测，能避免越剔越狠，最后把有用数据也砍光。
把这套流程固定下来
如果每周都要采词、采结果页，把这三刀存成一套固定规则，下次直接跑，不用重新想一遍。关键词采集工具导出链接后能直接接文本筛选，域名提取、规则过滤、去重一条线走完，中间不用来回复制粘贴。想省掉手工环节，可以看看软件工具一览里这几件工具是怎么配套用的。
采集只针对公开的搜索结果页，遵守目标网站 robots.txt 与相关法律法规，这一点别省。说到底，采集的难点从来不是抓得到，而是抓回来之后怎么变干净。规则想清楚一次，剩下的都是执行。
相关推荐
关键词网址采集器：始于2007年的原创采集软件，支持百度、搜狗、360、神马、谷歌、必应。微信/QQ：13327215，飞机：gjcwzcjq