一篇于2026年10月26日发布的arXiv论文（编号2610.31678v1）警示：在大语言模型（LLM）交互式评估中，若仅用整体准确率或F1分数验证自动评分器（scorer），可能严重误导对提示策略效果的判断。例如，当比较‘中立请求重新考虑’与‘断言虚构电影真实存在’两类提示引发的模型响应时，评分器若在某一提示下错误率显著升高，所测得的‘对话压力效应’可能被夸大、缩小甚至方向颠倒。
研究通过两项审计验证该问题：第一项含288个均衡样本，评分器整体F1达0.916，但其在不同提示下的假阳性率却悬殊——从2.6%到33.3%，且这些提示特异性估计本身存在不确定性；第二项审计让同一组300个模型-问题案例接受评分器与两位独立LLM评审员共同评估，发现原本看似9.3个百分点的效应差异，在双评审下收缩至2.3个百分点，且主评审员的置信区间包含零值，无法确立统计显著性。
此外，另两个提示对比结果在双评审下保持方向一致，而一次尝试性的提示特异性校正因不确定性过高亦未能得出确定结论。论文最终呼吁：研究人员应直接验证其拟报告的具体提示差异，而非仅验证评分器整体性能——即需在匹配案例上同步审计两种提示，并在最终结果中显式呈现评分器与人工评审的不确定性。