2026年10月24日、『What Pairwise Evaluation Misses: Reward Scores across Prompts』というタイトルのAI研究論文がarXivプラットフォームに掲載されました（番号：arXiv:2610.31090v1）。この論文は、好みの最適化や応答の選別・並び替えにおいて、報酬モデル（reward models）が果たす核心的な役割に焦点を当てています。研究では、現在広く用いられているペアワイズ評価（pairwise evaluation）は、同一のプロンプトに対する二つの応答のみを比較するため、すべての応答に共通するプロンプト関連のスコア成分が自動的に相殺されてしまい、その成分をまったく検出できないと指摘されています。
この見落とされたバイアスを定量化するため、著者らは「ヒューマン・リファレンスド・オーディット」を提案し、プロンプト間の分散割合分析、同胞評価回帰（sibling-rating regression）、およびプロンプト置換実験を統合的に用いて、公開済みの18個の報酬スコアラーと対応する6組の訓練条件に適用した。その結果、HelpSteer2ベンチマークにおいて、6つの報酬モデルのプロンプト間の分散割合は0.34から0.64に達する一方、対応する人間による評価ではプロンプト間の分散がほぼゼロであり、モデルによるスコアリングが応答の質に基づくものではなく、むしろ「プロンプトごとにクラスター化」していることを示している。
さらに実験を行ったところ、元のプロンプトを固定された指示に置き換えた後も、モデルのスコアは依然として明確なクラスターを形成するものの、プロンプトレベルにおける人間の評価との一致度は大幅に低下することが示された。これは、クラスター化そのものが人間の判断と一致することを意味しないことを示している。同時に、プロンプトの平均値を差し引くと、全体的な最適な応答の有用性が低下し、さらに、訓練段階でプロンプトの平均値を乱しても、モデルのスコアは誤ったプロンプトに対して依然として敏感であることが明らかになった。このことは、プロンプトに関連する変動が単なるノイズでもなく、完全に信頼できる信号でもないことを示している。論文は最終的に、モデル評価においては、「プロンプト間の変動」「誤ったプロンプトへの感受性」「応答選択の実用性」の三つを分けて検証すべきだと提言している。