2026年10月24日、arXivに『What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks』という題名の論文が掲載され（ID 2610.30635v1）、現在のコーディングエージェントのベンチマークにおいて広く見られる「仕様–オラクル間のギャップ」（specification-oracle gap）の問題が体系的に明らかにされた。
このギャップとは、タスクが自然言語で記述されているにもかかわらず、評価は上流のプロジェクトに存在する実際のテストケースに依存しているという状況を指します。そして、これらのテストを通過するためには、記述には一切言及されていない実装上の詳細——たとえば、ある定数の正確な名前やモジュールのインポートパス、あるいはエラーメッセージの文字列——を知る必要がある場合があります。このような情報は仕様からは合理的に推測できないため、評価は本質的にエージェントの元のコードを再現する能力を問うものとなり、汎化したプログラミング能力を評価するものではありません。
研究チームは、当該ギャップとそれが多段階の依存関係を持つタスクチェーンにおいて引き起こす不整合を形式的にモデル化し、5つのプログラミング言語をサポートする静的解析ツールを開発しました。このツールは、各スコアリングテストが名前・パス・リテラルの各レベルで持つ暗黙的な依存関係を自動的に識別でき、検証セットにおける精度は89.2％、再現率は92.9％に達します。SWE-Milestoneベンチマーク（98のスコアリングマイルストーンと35回の公開実行を含む）では、25のマイルストーンにおいて、少なくとも1つの依存関係が推論不可能な名前またはパスを持つテストが存在することが確認されました。
実証結果によれば、このような暗黙的な依存関係を含むビルド単位は、実行の80.6％で失敗するのに対し、同種の依存関係なしの単位では失敗率は48.4％にとどまる。さらに、リファレンス実装における重要な名前をたった1つ隠すだけで、128件の事例のうち126件でコンパイルが失敗した。影響を受けるテストを除去した後もランキング全体の順位は安定しているものの、リポジトリ内のスコアには偏りが生じ、上流の命名慣習を再現するエージェントをより高く評価する傾向が強まった。
さらに、4種類の他のベンチマークを分析した結果、以下のことが明らかになった。差異の発生頻度は、タスク仕様の生成方法に大きく依存しており、仕様がリリースノートや大規模モデルによる要約に基づく場合、3分の1以上のタスクがその影響を受ける一方で、タスクが人手によって選別されたり、テスト専用にカスタマイズされたものである場合は、ほとんど影響を受けないことが示された。研究者らは、監査ツール、修正済みのフィルターリスト、および仕様に関する補足説明をオープンソースとして公開している。