研究揭示奖励模型评分存在显著提示依赖性：成对评估无法检测该偏差
一篇2026年10月24日发布于arXiv的AI研究论文指出，当前主流的成对（pairwise）评估方法会自动抵消同一提示下所有响应共有的评分成分，导致奖励模型中关键的‘提示级偏差’未被检验；作者通过人类评分作为参照，对18个已发布评分器开展审计，发现在HelpSteer2数据集上，6个模型高达34%–64%的评分方差源于提示本身，而人类评分几乎无此现象。
推荐理由：该研究指出了大语言模型对齐流程中一个被长期忽视的基础性缺陷——奖励模型评分高度绑定于提示文本而非响应质量本身；其方法论（人类参照审计、提示替换、方差分解）具可复现性，结论基于实证分析且覆盖多个主流开源评分器，对偏好优化、RLHF和安全评估实践具有直接警示意义。