
新たにarXivで公開された研究(2610.30997v1、2026年10月24日公開)は、言語モデルに指定されたスキマに基づいてJSONを出力させる抽出タスクにおいて、スキマの宣言リストに最小項目数(例:minItems: 3)が設定されており、入力文書に実際にはその数より少ない対応するエンティティが含まれている場合、多くのオープンソースの大規模モデルは、短いリストをそのまま返すのではなく、意図的に最小値を満たすように“補完”し、冗長ではあるものの一見妥当な項目を生成してしまうことを指摘しています。
研究チームは、9つのアノテーション済みデータセットから得られた558件の実際の文書を対象に、8種類のオープンソース重み付けモデルを評価し、6種類のホスティングサービス提供モデルを比較対象として用いました。その結果、スキーマ上で「最小項目数」が提示にとどまり強制的に適用されないにもかかわらず、出力リストの長さが実際の項目数を上回る割合が34.5%から55.4%へと増加したことが明らかになりました。さらに、補完される内容の多くは文書中に実際に存在するテキスト断片であり、約50%が「各項目が原文に存在する」という検証基準をクリアするなど、隠蔽性が高いことが示されました。なお、自然言語による説明(例:「最大k項目」)や「N/A」オプションの追加、検証エラーに基づく再質問といった一般的な修正手法を試しても、補完の抑制には効果がなく、一部ではむしろ漏れや過剰生成が悪化するという結果も得られました。
本研究は、このようなパディング行動が単なるランダムな錯覚ではなく、スキーマ設計とモデルの応答メカニズムが相まって生じる体系的なバイアスであり、知識グラフの構築やコンプライアンス報告書の生成など、正確な構造化出力に依存する下流のアプリケーションに対して潜在的なリスクをもたらすことを強調している。著者らは、すべての実験コード、解答リストおよび実行ログをオープンソースとして公開している(https://github.com/AbhishekBarali/padding-to-k),供社区复现与改进。)