2026年10月24日，一篇题为《What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks》的论文发布于arXiv（编号2610.30635v1），系统揭示了当前编码智能体（coding-agent）基准测试中普遍存在的‘规范-预言机差距’（specification-oracle gap）问题。
该差距指：任务以自然语言描述，但评分依赖上游项目的真实测试用例；而通过这些测试往往需知晓描述中从未提及的实现细节——例如某个常量的确切名称、模块导入路径或错误提示字符串。此类信息无法从规范中合理推断，使评测实质上考核智能体对原始代码的复现能力，而非泛化编程能力。
研究团队形式化建模了该差距及其在多阶段依赖任务链中引发的不一致性，并开发了支持五种编程语言的静态审计工具，可自动识别每个评分测试在名称、路径和字面量层级的隐式依赖，验证集上精度达89.2%、召回率达92.9%。在SWE-Milestone基准（含98个评分里程碑、35次公开运行）中，25个里程碑被确认包含至少一个依赖不可推断名称或路径的测试。
实证显示：含此类隐式依赖的构建单元在80.6%的运行中失败，而同类无依赖单元失败率仅为48.4%；仅隐藏一个参考实现中的关键名称，即导致128个案例中的126个编译失败。尽管移除受影响测试后排行榜整体排序稳健，但仓库内得分发生偏移，且更倾向奖励复现上游命名习惯的智能体。
进一步分析四类其他基准发现：差距 prevalence 高度依赖任务规范的生成方式——若规范源自版本发布说明或大模型摘要，则三分之一以上任务受其影响；若任务经人工筛选或专为测试定制，则几乎不受影响。研究者已开源审计工具、修正后的过滤列表及规范补充说明。