arXiv:2610.33012v1 발표 유형: 신규
요약: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적으로 실행될 때마다 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표는 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행 간 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들에 걸쳐 불일치가 어떻게 전파되는지를 파악하지 못합니다. 우리는 강화학습 분야의 비시뮬레이션 메트릭에서 차용한, 무감독 트래잭터리 수준의 일관성 지표인 재귀적 의미 발산(RSD)을 제안합니다. RSD는 동일한 상태에서 같은 에이전트의 두 개의 독립적인 롤아웃 간의 예상 누적 의미적 불일치를 측정하며, 논리적 모순 여부를 탐지하기 위해 자연어 추론을 활용합니다. 이 지표는 미래 상태들을 기반으로 재귀적으로 정의되며, 독립적인 롤아웃 데이터를 학습한 신경망을 통해 근사됩니다. 학습된 이 지표는 현재 상태로부터의 향후 발산을 추정하여, 전체 트래잭터리가 완료될 필요 없이 매 턴마다 일관성 점수를 제공합니다. RSD를 미세조정을 위한 보상 신호로 활용했을 때, tau2-bench에서는 작업 진행의 변동성이 132%에서 91%로, toolsandbox에서는 90%에서 44%로 감소하는 동시에, 다양한 벤치마크와 모델 규모 전반에 걸쳐 성능이 향상되었습니다. 추가 보상 신호로 RSD를 사용한 학습은 지도형 미세조정의 성능을 유지하면서도, 실제 레이블이 필요 없이 변동성을 크게 낮추었습니다.