AI 自動翻訳
「LLMの信頼度に対する無料の昼食：RL批判者にはすでに分かっていること」と題する研究論文が、2026年10月26日付でarXivプレプリント・サーバー（番号2610.31820v1）に掲載され、追加の学習を必要とせずに大規模言語モデル（LLM）の信頼度推定能力を向上させる新手法を提案している。
研究によると、正しさに基づく結果で定義される強化学習の枠組みにおいて、LLMの信頼度推定問題とCriticによる価値関数学習は数学的に等価であり、両者ともに方策が正しい応答を示す確率を予測することを目的としている。したがって、すでに価値ベースの強化学習で訓練されたLLMについては、その内部に備わるCriticをそのまま既製品（off-the-shelf）の信頼度推定器として利用でき、モデル内部の表現へのアクセスも、追加のデータや計算コストも不要である。
実験の結果、この再利用手法は数学、コード生成、ツール呼び出し、汎用推論など十数の分野において、すべてのインディストリビューション内テストセットで最優秀の信頼度推定性能を示し、16の評価サブセットのうち14で最良の校正度を達成するとともに、既存のタスク性能を一切損なわないことが確認されました。さらに、Criticは生成プロセス全体（中間の推論ステップを含む）にわたって、細粒度の信頼度出力を提供できます。
この成果は、LLMの信頼性のあるデプロイメントに向けた軽量でプラグアンドプレイ可能な技術的道筋を提供するものですが、その適用範囲は価値ベースの強化学習によって訓練されたモデルに明確に限定されており、結論は論文で報告された実験設定および評価プロトコルに基づいています。