先给结论:在批量查询流程里,把“机器能算的”和“必须人判断的”拆成两层字段,自动评分只负责排序和分组,人工判断负责定性结论;一旦发现某个项目被自动分数直接当成最终结论,就应把它从评分列移出,改为待判列。是否保留、改写还是退出自动评分,取决于该项目是否存在多个合理解释、是否依赖上下文、以及分歧是否可核对。
批量查询工具擅长处理可枚举、可比较、可重复计算的项目,例如数量、是否出现、两个字段是否一致。需要人工判断的项目通常有三个特征:同一事实在不同角色眼里含义不同;结论依赖上下文而非单一数值;分歧本身可以转成待核对项。假设某批查询结果里,一个项目同时出现“疑似相关”和“疑似无关”两种标记,而工具只给出一个综合分,这个分数就无法说明它到底在回答哪个问题。此时保留自动评分只会掩盖分歧,正确动作是把该项目拆成“机器标记”和“人工结论”两列,人工结论留空,进入待判队列。
如果自动评分的结果能被明确解释为“优先级”而不是“对错”,可以保留。适用前提是:评分维度固定、权重可说明、不同角色对同一评分的解读差异不影响最终动作。例如把评分用于决定先看哪些项目,而不是决定哪些项目通过,这种用法下评分替代的是排队顺序,不是判断本身。实际动作是给评分列加一个限定名,如“初筛优先级”,并在导出时只导出该列,不导出“结论”列。结果影响下一步:复核者拿到的是待看清单,而不是已判清单,分歧不会被分数提前压掉。
当多个角色对同一事实理解不同,但分歧可以落到具体可查的证据上,适合改写而不是退出。做法是把原来的单一评分拆成若干可核对的小项,每项只回答一个是非或区间问题,人工只需在分歧项上标注依据。假设三个角色对同一个项目分别给出“高”“中”“低”,与其平均成一个分数,不如改写成“是否命中A条件”“是否命中B条件”“是否存在反例”三列,人工逐列核对。这样做的结果是把争论从“分数高低”转成“哪一列对不上”,下一步就能针对对不上的那一列补证据,而不是反复争论总分。
如果自动评分既说不清由哪些维度构成,又无法把分歧落到可查项上,就应退出评分流程。退出不等于放弃工具,而是把该项目移出评分列,改为纯人工判断,工具只保留原始查询记录。适用前提是:项目数量有限、人工可以逐条处理,且评分继续存在会误导后续动作。实际动作是建立一个“已退出评分”清单,记录退出原因和判断人。结果影响下一步:后续统计不再把这类项目计入评分分布,避免用一个人工判断结果去反推评分模型是否准确。
按这个顺序处理,保留、改写和退出各有明确前提,不会因为工具默认给了一个分数,就把需要人判断的项目悄悄替换成自动结论。