行動のペナルティをいつ停止すべきか？VLA強化学習におけるマルチンゲールGRPO

arXiv:2610.32431v1 発表タイプ：新規 要旨：視覚・言語・行動（VLA）のロールアウトが失敗したからといって、すべての行動が失敗に寄与したわけではない。しかし、グループ相対方策最適化（GRPO）では、ロールアウト全体における単一の軌道レベルの優位性がすべての行動に割り当てられるため、本来は有用な復旧の試みまで、それが修正しようとする誤りとともに罰せられてしまうことがある。失敗フィードバックの理想的な停止条件は、成功確率および方策スコアのマーティンゲールを用いて特徴付けられる。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、切り捨てによって参照となるGRPOのグループ勾配推定器の期待値は維持され、その共分散を低減することが可能である。このような停止の一つは、成功の条件付き確率が