先给结论:升级后评分变化,多数时候不是“旧分错了”或“新分更准”,而是评分背后的规则口径、样本范围和计算时点至少有一项发生了位移。要解释差异,最稳的做法不是争论哪个分对,而是把新旧两次评分拆成可对照的三个变量——口径、样本、时点,再判断这次变化属于保留、改写还是退出。
评分是规则作用于数据的结果。规则改了、数据没改,分数会变;数据改了、规则没改,分数也会变。两者混在一起时,任何解释都站不住。
一个可操作的区分方法是:找一批输入数据完全冻结的样本,例如同一份已归档的页面清单或同一批历史导出文件,分别用新旧两套规则重算。如果冻结样本上分数也变了,差异来自口径;如果冻结样本分数一致,而线上样本分数变了,差异更可能来自数据更新或抓取时点。
这个动作的结果会直接决定下一步:口径变化意味着你需要重新定义“合格线”,而不是去修页面;数据变化意味着规则没动,你要查的是样本本身为什么换了。
个别样本上成立的现象,规模化后经常出现例外,原因通常是样本范围在两次评分之间被悄悄扩大了。旧规则可能只覆盖已索引的少量页面,新规则可能纳入了更多未处理或低质量的条目,平均值、通过率、分布形态都会随之改变。
判断时不要只看总分,要看分母。假设一个虚构场景:某次评分从 72 升到 81,看似变好,但如果分母从 200 条扩到 500 条,且新增的 300 条大多是容易得高分的浅页面,那么这次提升并不代表原有页面质量改善。反过来,分数下降也可能是新增了大量难处理的样本,而非存量页面变差。
这里要写清一个边界:不能直接照搬个别样本的结论。一两个页面的分数跳变,只能作为线索,不能作为规则整体变化的证据。要支撑规模化判断,样本量、抽样方式和覆盖范围至少有一项需要保持可比。
三种取舍各有适用前提,不必都选。
取舍的关键不是哪个选项更“先进”,而是你的决策是否需要跨版本可比。需要长期趋势判断的场景,口径稳定性优先;只做单次排查的场景,新规则的即时信号可能更有用。
把上面几步合成一个可执行动作:
这一步的结果会决定后续投入方向:刻度差异不需要改内容,排序差异才需要重新评估页面或策略。跳过对照直接采信新分,很容易把口径变化误当成内容质量变化,从而做出错误的优化动作。
请求量、抓取量或某项统计归零,都不能单独证明处理正确或规则变严。它们还有别的合理解释:抓取调度调整、样本被排除、统计窗口错位,甚至只是导出时间不同。把这些现象与评分差异直接挂钩,属于把相关当因果。
稳妥的做法是:任何单一指标的变化,都要至少找到第二个独立证据支撑,才纳入解释。具体工具的口径说明、字段定义和版本记录,往往需要以该工具当前公布的文档为准,不要凭旧教程或记忆推断现行规则。
解释前后差异的终点,不是找到一个“正确分数”,而是让下一次决策建立在可复现、可对照的基础上。