2026년 10월 24일, ‘ReflectPO: Long-Horizon LLM 에이전트를 위한 반사 기반 정책 최적화’라는 제목의 연구 논문이 arXiv 플랫폼에 게재되었으며(번호 2610.30933v1), 반사 기반 정책 최적화(ReflectPO)라는 개념을 제시했다. 이는 장기 주기 및 도구 강화형 대규모 언어 모델(LLM) 에이전트를 위해 설계된 강화학습 프레임워크로, 자율적인 오류 복구를 구현하는 데 활용된다.
ReflectPO는 두 가지 핵심 구성 요소를 포함합니다. 첫째, ‘반성 기반 샘플링’(Reflection-Guided Sampling)으로, 상호작용 트래잭트의 분기 차이와 반복 방문 패턴을 활용해 오류 복구 힌트를 생성합니다. 둘째, ‘트리 구조형 신용 할당’(Tree-Structured Credit Assignment)으로, 샘플링 트래잭트를 트리 구조로 정리하고 부모·자식 노드 간 보상 차이와 복구 이득을 바탕으로 동작 단위의 신용 평가를 수행합니다. 실험은 두 가지 장기간 도구 사용 벤치마크에서 수행되었으며, 결과적으로 ReflectPO는 대부분의 영역에서 기존의 여러 기준 방법들을 능가하며 평균적으로 최우수 수준의 전반적 성능을 달성했습니다. 추가 분석에 따르면, 이 프레임워크는 에이전트가 자신의 행동 편향을 식별하고 오류 상태로부터 회복하며 작업 완료를 지속적으로 추진하는 능력을 효과적으로 향상시킬 수 있음을 보여줍니다.
주의할 점: 본 연구 결과는 현재 arXiv 사전인쇄본 형태로만 공개되어 있으며(동료 심사 저널/학회에 정식 채택된 논문 아님), 실험은 특정 도구의 사용 벤치마크에 국한되며, 구체적인 데이터셋 이름, 기준 모델의 세부 사항 또는 실제 환경에서의 배포 결과는 공개되지 않았습니다. 따라서 해당 결과의 실제 일반화 능력과 엔지니어링적 적용 가능성은 향후 검증이 필요합니다.