생산 환경의 에이전트에서 안전한 프롬프트 압축을 위한 기반으로서의 재현 가능한 평가

arXiv:2610.31972v1 발표 유형: 신규 초록: 실시간으로 변화하는 기업 데이터를 기반으로 작동하는 대화형 에이전트를 평가하는 일은 어렵습니다. 재생된 세션은 백엔드 상태가 변경됨에 따라 흐려지고, 오늘날 구축된 벤치마크는 그 대상이 되는 데이터가 진전되면서 조용히 시들어 버릴 수 있습니다. 우리는 운영 중인 대화형 에이전트를 위한 오프라인 평가 허니스를 제시합니다. 이 허니스는 작동하는 실시간 데이터가 변하더라도 재현성이 유지되며, 유효성이 떨어지면 필요에 따라 다시 생성할 수 있습니다. 이후 우리는 이 허니스를 정확성 게이트로 보호된, 보상 해킹을 방지하는 GEPA 기반 프롬프트 최적화의 적합도 함수로 활용합니다. 실제 상거래 고객 대상 에이전트에 적용한 결과, 정확성 게이트를 통한 압축은 보유된 과제의 정확성을 저하시키지 않으면서 에이전트의 전체 프롬프트 표면을 3.5~7.6% 축소했습니다, 고려