现象0.6299 的差值来自一个词先说结论在同一个数据集30 题hash 1385126cffea、同一个裁判模型deepseek-chat下只把 prompt_style 从 grounded 换成 weakfaithfulness 从 0.9556 掉到 0.3257差 0.6299answer_correctness 从 0.8164 掉到 0.3925差 0.4239。但这不是本文的重点。重点是如果你只跑一次评测就把「grounded 更好」写进结论你其实没有区分开「prompt 的语义差异」和「这一次运行的运气」。few-shot 示例的顺序就是这类运气最典型的来源之一——同一批示例、同一个模型只打乱顺序分数自己会跳。我手上这份证据包里没有 few-shot 顺序打乱的直接产物所以本文不编造那个分布。我用的是另一条更硬、也更容易被忽略的证据链同一套 prompt 语义在 2x2 消融里主效应和交互项的大小差了一个量级。这直接决定了你的评测该报均值还是报方差。实验设置2x2 消融四格齐全证据来自 projects/raglens/runs/ 下四次真实运行数据集完全相同运行 IDtop_kprompt_style整轮耗时裁判调用裁判成本20260827T094242Z3grounded527.13s315约 0.0919 美元20260827T095152Z1weak594.9s255约 0.205 美元20260921T005917Z1grounded556.96s242约 0.0714 美元20260921T010853Z3weak715.08s310约 0.1315 美元旋钮只有两个top_k[1, 3]prompt_style[grounded, weak]。四格齐全所以主效应可以直接引用不需要靠「只变一个变量」的配对对比去猜——证据包里也明确写了配对对比中同时变两个变量的差值不能归因到单个旋钮。裁判模型统一为 deepseek-chat被测系统延迟在各次运行间差异很大均值 589.0ms 到 4022.7ms这是另一个坑但本文先聚焦指标。机制主效应和交互项不在一个量级faithfulness 的四格均值格子faithfulnesstop_k3, grounded0.9556top_k1, grounded0.9306top_k3, weak0.6932top_k1, weak0.3257拆开看prompt_style 主效应grounded→weak 使均值 0.9431 → 0.5094效应 -0.4337top_k 主效应1→3 使均值 0.6281 → 0.8244效应 0.1963交互项top_k 效果grounded0.025top_k 效果weak0.3675交互项 0.3425注意最后一行。top_k 从 1 调到 3在 grounded 下几乎没用0.025在 weak 下却涨了 0.3675。也就是说top_k 这个旋钮的效果取决于 prompt_style 取什么值。这正是 few-shot 顺序效应的同型结构一个旋钮的收益被另一个「你以为无关」的配置项调制。answer_correctness 的同一张表格子answer_correctnesstop_k3, grounded0.8164top_k1, grounded0.8198top_k3, weak0.6274top_k1, weak0.3925prompt_style 主效应grounded→weak0.8181 → 0.51效应 -0.3081top_k 主效应1→30.6061 → 0.7219效应 0.1158交互项top_k 效果grounded-0.0034top_k 效果weak0.2349交互项 0.2383又是同一个形状grounded 下 top_k 的效应是 -0.0034基本为零甚至是负的weak 下是 0.2349。而 context_precision 和 context_recall 四格全是 1.0主效应 0.0交互项 0.0。这两个指标在这批数据上完全没有分辨率——它们不跳不是因为系统稳是因为测量工具坏了。如果你只看这两个指标你会得出「两个旋钮都没影响」的错误结论。answer_relevancy 则是另一种跳法四格 0.7386 / 0.7735 / 0.7663 / 0.7626主效应 top_k -0.0193、prompt_style 0.0155交互项 0.0168。三个数都在 0.02 量级彼此相当——这说明 answer_relevancy 对这两个旋钮基本不敏感它的波动更可能来自采样噪声而非配置。这种指标放进回归门禁只会制造假告警。代码照抄就能跑配对显著性上面那些「显著退化」的判定不是我自己算的是框架里的配对回归检测产出的。核心函数签名如下直接照抄def compare_runs( current: dict[str, Any], baseline: dict[str, Any], metrics: list[str], alpha: float 0.05, min_effect_size: float 0.1, min_paired_samples: int 5,它输出的是 t 分布置信区间加 Cohens dz而不是简单的均值差。实际报告 diff_20260827T095152Z_vs_20260827T094242Z.md 里的结果指标基线当前95%CICohens dzp判定context_precision1.0001.000[0.000, 0.000]0.0001.000无明显变化context_recall1.0001.000[0.000, 0.000]0.0001.000无明显变化faithfulness0.9560.326[-0.746, -0.514]-2.0320.000显著退化answer_relevancy0.7390.774[-0.060, 0.130]0.1380.457无明显变化answer_correctness0.8160.393[-0.526, -0.321]-1.5440.000显著退化看 answer_relevancy 那一行均值差是正的0.739→0.774但 95%CI 跨零[-0.060, 0.130]p0.457判定「无明显变化」。如果只比均值你会以为它涨了加上区间你才知道它没动。这就是顺序鲁棒性该用的同一套工具。规则归因那一侧还有一层噪声。整套流程是「规则归因 → 裁判复核」复核统计在各次运行里是这样的运行确认推翻未复核20260827T094242Z032720260827T095152Z1111820260921T005917Z022820260921T010853Z01020在 20260827T095152Z 这次运行里规则归因判了 22 条 HALLUCINATION复核后 11 条被推翻为 OK、10 条被推翻为 None、只有 1 条确认。规则归因器的核心是字符 n-gram 重叠def ngram_overlap(a: str, b: str, n: int 2) - float: 字符 n-gram 重合率用于证据链的文本支撑判断。 grams_a _char_ngrams(a, n) grams_b _char_ngrams(b, n) if not grams_a: return 1.0 if a b else 0.0 return len(grams_a grams_b) / len(grams_a)以及句级支撑度判定def sentence_supported( sentence: str, contexts: list[str], threshold: float 0.35句子切分走的是中文句读正则def split_sentences_zh(text: str) - list[str]: 按中文句读切分句子过滤过短片段与列表编号等噪声。 parts re.split(r[。\n]|(?[.!?])\s, text) sentences: list[str] [] for part in parts: cleaned re.sub( r^\s*[\d一二三四五六七八九十][.、):]?\s*, , part ).strip() # 只保留包含汉字/字母/数字的句子过滤 1. 这类编号残片 if cleaned and re.search(r[\u4e00-\u9fffA-Za-z0-9], cleaned): sentences.append(cleaned) return sentences推翻率这么高说明规则归因在 weak 这种低忠实度场景下把「表述不同但语义支持」的句子误判为无支撑。这本身就是顺序噪声的放大器顺序一变答案措辞一变n-gram 重叠就变归因标签跟着变。工程落地CI 该卡什么基于上面这些真实数字我给三条可执行的门禁规则指标分层不要一锅端。context_precision / context_recall 在这批数据上四格恒为 1.0主效应 0.0没有分辨率不该作为回归门禁的主判据。faithfulness 和 answer_correctness 的效应量在 0.19 到 0.43 之间是真正能分辨旋钮的指标。用配对区间而不是均值差。门禁条件是「95%CI 不跨零 且 |Cohens dz| min_effect_size」。faithfulness 的 dz-2.032、answer_correctness 的 dz-1.544 会触发answer_relevancy 的 dz0.138、p0.457 不会触发。报交互项别报单旋钮结论。这批数据里 faithfulness 的交互项是 0.3425比 top_k 主效应 0.1963 还大。如果你只报「top_k 提升忠实度 0.1963」在 grounded 场景下你会得到一个 0.025 的实际效果结论直接失效。至于 few-shot 顺序把示例顺序当作一个独立的随机因素固定示例集合随机打乱多次跑同一批用例报准确率的均值和极差交付用的 prompt 可以固定顺序但必须跑过顺序鲁棒性这一关确认极差在你的可接受区间内。证据包里没有这个分布的实测数字我不给具体阈值——这一步该由你自己的用例集决定。边界与不适用场景示例数量多、任务定义明确时顺序效应会被平均掉少样例、任务边界模糊时单个示例的措辞和位置权重最大。本文引用的 30 题数据集规模偏小。配对样本 30 题下faithfulness 的 95%CI 宽度是 [-0.746, -0.514]已经算窄但 answer_relevancy 的 CI 是 [-0.060, 0.130]宽度 0.19在 0.02 量级的效应面前没有分辨力。样本量再小这套方法就只剩下方向性参考价值。2x2 消融的结论只在 top_k ∈ {1, 3}、prompt_style ∈ {grounded, weak} 这个格子里成立外推到其他 top_k 或其他 prompt 模板没有依据。拒答口径会污染均值。20260827T095152Z 这次运行识别出 1 条拒答作答率 96.7%把拒答算对后 answer_correctness 从 0.3925 虚高到 0.42虚高 0.0275faithfulness 从 0.3257 虚高到 0.3513虚高 0.0256。其余三次运行拒答 0 条、虚高 0.0。注意 attribution.modeUNKNOWN 是归因器标签不等于系统拒答——20260827T094242Z 里归因器判 UNKNOWN 3 条其中并非拒答的就有 3 条。一句话收尾你写死的示例顺序把结论绑在了某一次运气上先测出这个运气有多大再决定要不要相信那个均值。想要一份免费质量体检把你的测试集或评测脚本发我我按上面的指标跑一遍告诉你哪几项其实是假通过。私信我。