arXiv:2610.36523v1 발표 유형: 신규
요약: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환을 평가하려면, 인수인계 시 보존된 정보와 수신 모델이 이후 작업을 어떻게 이어가는지 간의 연관성을 파악해야 하며, 이는 단순히 작업 성공도와 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수인계 상태 연속성 벤치마크(HSC-Bench)를 제안하며, 이는 작업 인수의 두 가지 상호 보완적인 측면을 평가하는 1,039개의 작업으로 구성됩니다: 관련 저장소 증거를 복구하는 능력과 이미 설정된 대화, 도구, 파일 작업 상태를 기반으로 계속 수행하는 능력입니다. 여섯 개의 수신 모델을 비교한 결과, 구조화된 인수인계 상태는 모든 모델에서 저장소 증거 복구를 향상시키고, 대부분의 모델에서는 작업의 연속성 측면에서도 성능을 개선하는 것으로 나타났습니다. 가장 우수한 수신 모델들은 두 가지 평가 영역에서 서로 차별화되며, 이는 증거 복구 순위만으로는 상속된 상태에서 작업을 이어갈 때의 전체 성능을 정확히 설명하지 못함을 보여줍니다. 이러한 비교 결과와 이후 응답 및 행동에 대한 검증을 결합함으로써, HSC-Bench는 이전 증거에 대한 접근성과 함께, 이미 설정된 약속 및 완료된 작업에 대한 준수 여부까지 평가합니다. 이를 통해 앞으로 이어져야 할 작업의 특성에 따라 수신 모델을 선택하고 인수인계 표현을 평가할 수 있는 기반이 마련됩니다.