arXiv:2610.33012v1 発表タイプ：新規
要旨：ツール利用を備えた大規模言語モデル（LLM）エージェントは、同一の状態から独立した実行を行った際、異なるツールを呼び出したり、矛盾する出力を生成したり、互いに乖離した戦略を採用したりと、一貫性のない挙動を示す。この変動性は時間の経過とともに累積し、デプロイメントの信頼性を損なう。既存の評価指標は主に完了ベースのスコアによってタスクの正しさを測定しており、実行間におけるエージェントの振る舞いの一致性を捉えていない。一方で、エージェントの振る舞いは、確率分布を用いたトークンレベルの分析や、意味クラスタリングによる単一応答レベルの分析が行われているが、いずれも軌跡上の将来のターンにわたって不一致がどのように伝播するかを捉えられていない。 本研究では、強化学習におけるバイシミュレーション指標を基に改良した、教師なしの軌跡レベルの一致性指標であるRecursive Semantic Divergence（RSD）を提案する。RSDは、同一エージェントが同一状態から開始される二つの独立したロールアウト間の期待累積的な意味的不一致を、論理的不整合の検出に自然言語推論を用いて測定するものである。RSDは将来の状態に対して再帰的に定義され、独立したロールアウトデータに基づいて学習されたニューラルネットワークによって近似される。学習済みの指標は、現在の状態からの将来の発散度を推定し、軌跡全体が完了する必要なく各ターンごとに一致性スコアを提供する。 RSDをファインチューニングの報酬信号として用いることで、tau2-benchではタスク進捗の変動幅を132%から91%へ、toolsandboxでは90%から44%へ低減するとともに、ベンチマークおよびモデル規模にわたって性能向上を実現した。RSDを追加の報酬信号として併用して学習させることで、正解ラベルを必要とせず、監督型ファインチューニングと同等の性能を、著しく低い分散で達成できる。