Async-RBench：用于LLM智能体中异步任务执行的基准测试

arXiv：2610.32429v1 发布类型：新 摘要：大型语言模型（LLM）代理正越来越多地以异步方式执行任务：主代理在子代理运行的同时继续工作，而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复，同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理，而且自然的异步结果到达也难以复现。我们提出了 Async-RBench，一个用于评估 LLM 代理中异步任务执行的基准，包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付，而事件响应契约（ERC）则规定了每种响应应如何处理