报告显示抓取了1200个页面,但站点里只有800个实际对象,这通常不是抓取错误,而是URL变体、参数页、分页或重复渲染被各算一次。处理顺序应该是:先按URL结构分组,再判断哪些变体应归并到同一对象,最后决定用规范标签、robots控制还是只改报告口径,而不是直接删除或屏蔽。
多数网站SEO工具在爬取时按URL计数,一个对象如果同时存在带与不带斜杠、带参数与不带参数、http与https、PC与移动端路径等多个地址,就会被分别记录。报告页数因此天然大于实际对象数量,这属于口径差异,不一定是问题。
要区分两类情况:
先抽样20到30条URL,用?utm_、?page=、/print/、大小写差异等特征做分组,能在几分钟内判断膨胀主要来自哪一类。
假设某内容站报告抓取了1200条URL,编辑核对后发现实际文章、栏目、专题合计只有800个。抽样显示:约250条带?utm_source=等跟踪参数,约100条是分页的?page=2,其余50条是同一路径的大小写变体。此时如果直接按1200条去规划优化工作量,会严重高估规模;如果直接批量删除带参数URL,又可能误伤有独立搜索价值的筛选页。
正确的动作是:先导出全部URL,用电子表格按路径规则分类,标记出“同对象变体”和“独立对象”两列,再针对不同类别分别处理。这个动作的结果会直接决定下一步是改技术配置,还是只调整报告统计口径。
分组之后,不要凭直觉决定去留,用可核对的证据区分:
这三类证据指向不同处理方式:内容相同且无独立需求,归并;有独立需求,保留并单独评估;已有canonical声明,优先修报告口径而非改站点。
确认属于同对象变体后,常见动作是统一canonical指向主URL,并对跟踪参数做规范化处理。动作完成后,重新抓取同一批URL,观察报告页数是否下降、主URL的抓取与索引状态是否稳定。如果页数下降但主URL状态没有变化,说明归并生效;如果主URL反而出现异常,说明规范指向或跳转配置需要回查。
需要提醒的是,抓取量或报告页数归零并不能单独证明处理正确,它也可能来自工具配置变更、抓取范围缩小或站点暂时不可访问。判断时必须结合主URL的状态一起看,而不是只看总数变化。
如果确认膨胀主要来自工具把同一对象的多个URL分别计数,而站点本身已有规范声明,那么优先调整的是报告口径:在工具中设置URL过滤规则、排除参数或指定只统计规范URL。这类调整不改变站点,只让后续数据更接近实际对象数量。
如果确认存在大量无规范声明的重复URL,则要改站点配置,例如统一大小写、统一结尾斜杠、对跟踪参数做处理。两种决策的适用条件不同:前者适用于站点已规范、只是统计偏差;后者适用于站点本身存在重复入口。具体工具是否支持上述过滤项、入口在何处,需要以该工具当前版本的实际界面为准,不同产品差异较大。
最终判断标准不是“页数是否等于对象数”,而是报告数字能否解释清楚:每一类多出来的URL属于哪种变体、为什么保留或归并、归并后主URL是否正常。能把这三件事说清楚,去重才算完成。