행동에 대한 처벌을 언제 중단해야 할까요? VLA 강화학습을 위한 마팅게일 GRPO

arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는, 하나의 트래잭터리 수준 우위가 롤아웃 내 모든 행동에 할당된다. 이로 인해 잠재적으로 유용한 복구 시도들이, 그들이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백에 대한 이상적인 중단 조건은 성공 확률과 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고, 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이