一项发表于2026年10月24日arXiv平台的研究（编号2610.30512v1）指出，大语言模型（LLM）作为自动裁判用于比较两个回答优劣时，其个体判决高度不稳定，且对指令细节极为敏感，而这种不稳定性常被看似稳定的聚合分数所掩盖。
研究基于500条Arena-Hard v2.0提示，固定两个被测模型的回答，使用GPT-4.1在温度为0、模型版本锁定的条件下，系统测试全部八种指令组合（涵盖评判标准、输出格式与任务表述方式）。结果显示：仅重复默认设置，聚合得分浮动约1分，但21.2%的提示级别判决（胜/平/负）发生改变。
当变更指令时，不稳定性加剧：一种极简指令设置（省略推理要求及其他说明）相较平均重跑波动，额外导致28.2个百分点的判决变化，聚合得分下降4.09分；另一种以准确性为优先标准的设置，虽仅多出6.7个百分点的判决变动，聚合得分却几乎不变。这表明聚合分数稳定绝不等于个体判决可靠。
论文强调，若将此类判决用作偏好标注或单条响应质量评估，则必须对每种评测设置进行重复运行，并同时报告聚合分数与提示级判决一致性，否则评估结论存在系统性风险。所有结论均基于实验设定，未扩展至其他模型或数据集。