2026年10月26日、arXivは「What the Query Remembers: Query Abstraction Governs Lexical and Dense Retrieval of Classical Arabic Poetry」と題する研究論文（番号：arXiv:2610.31821v1）を公開し、古典アラビア詩に対するユーザーの記憶残存が情報検索の性能にどのように影響するかを体系的に検証しました。本研究では、二つの詩のコーパスを用いて、九種類の稠密エンコーダと古典的な形態素検索器BM25を比較し、三種類のインデックス方式および二種類の評価プロトコル（既知項目検索と主題関連性検索）を網羅しています。
結果は、検索エンジンの性能優劣は絶対的なものではなく、クエリに含まれる元の詩句の要素によって決まることを示している。『舌尖効果』型のクエリ（すなわちユーザーが一部の語句しか曖昧に覚えている場合）では、BM25がRecall@5=0.746で最良の稠密エンコーダー（0.717）を上回った一方、高度に抽象化されたクエリではBM25は10手法中8位（0.392）に落ち込み、最適な稠密エンコーダー（0.748）には大きく及ばなかった。人手による編集実験によりさらに確認されたのは、覚えていた半分の詩をわずか一行追加するだけで、BM25の性能が38ポイントも向上すること、また引用文を手動で書き直すことで、その性能を8B稠密モデルと同等に引き上げられることが明らかになった。
メカニズム分析によると、BM25の挙動は語彙的包含関係に主導され、稠密エンコーダーは埋め込み空間における近接性に依存している。さらに、二つの主流な評価プロトコルは同一のシステムにおいて顕著に分離する——この現象は、盲検下で評価した二人のヒューマンアノテーターおよび、文字面一致を要しない評価基準を採用したオープンソースの重み付け審査員二人によって独立して再現された。本研究は、単一のプロトコルまたは単一のクエリスタイルのみを報告するベンチマークでは、性能像が大きく歪められる可能性があることを強調している。全コードとデータはオープンソースとして公開されている：https://github.com/Ellzo/what-the-query-remembers。