2026년 10월 26일, arXiv 플랫폼은 사전인쇄 논문 “SPECMEM: 실시간 메모리 관리를 통한 에이전트 기반 도구 호출 가속”(번호 2610.31840v1)을 발표하며, 도구 호출 에이전트를 위한 실시간 메모리 관리 시스템인 SpecMem을 제안했습니다. 이 시스템은 배포 과정에서 점차 심각해지는 지연 문제를 해결하기 위해 설계되었으며, 전통적인 도구 호출 방식은 자회귀 디코딩에 의존하므로 호출 횟수가 증가할수록 오버헤드가 선형적으로 증가합니다.
SpecMem의 핵심 설계는 세 가지 부분으로 구성된다. 첫째, 검증된 도구 호출 결과를 유한하고 사용자별로 격리된 메모리 저장소에 실시간으로 기록하며, LRU 정책을 적용해 동적으로 노드를 제거한다. 둘째, 부작용 게이트(side-effect gate)를 도입하여 비가역적 영향을 미칠 수 있는 호출은 지연 실행하고, 검증을 통해 확인된 후에야 실제로 트리거되도록 한다. 셋째, 전체 과정에서 기억 저장소를 온라인 상태로 지속적으로 업데이트하며, 기존 시스템이 한 번 구축한 뒤 저장소를 고정하는 방식과는 차별화된다.
실험은 세 가지 오픈소스 가중치 모델 서비스를 기반으로 한 다세션·다사용자 쿼리 흐름을 대상으로 평가되었습니다. 결과에 따르면, 정적 고정 기억 저장소 기준선에 비해 SpecMem은 평균 수신 토큰 수에서 27%의 격차를 보였으며(각 벤치마크에서 +11%에서 +34%의 개선 폭), 실측된 엔드투엔드 월경 시간은 최대 1.74배까지 가속되었습니다. 소거 분석 결과, 성능 향상의 거의 전부가 기억 저장소의 지속적인 온라인 업데이트에 기인함을 확인했습니다. 사용자 수준의 격리는 수신률을 높이지는 않았지만, 사용자 간 메모리 유출을 효과적으로 차단했습니다. 또한 검색 신뢰도가 아닌 선언형 부작용을 기반으로 하는 게이트 제어 메커니즘은 되돌릴 수 없는 오류를 방지하는 데 핵심적인 설계 요소입니다.
이 작업은 현재 arXiv 사전인쇄본 형태로 공개되어 있으며, 아직 동료 심사 과정을 거치지 않았습니다. 또한 그 성능 검증은 특정 개방형 가중치 모델과 시뮬레이션된 쿼리 흐름 시나리오에 한정되어 있으며, 실제 생산 환경에서의 로버스트성과 확장성은 추가적인 검증이 필요합니다.