2026년 10월 26일, arXiv는 “What the Query Remembers: Query Abstraction Governs Lexical and Dense Retrieval of Classical Arabic Poetry”라는 제목의 연구 논문(논문 번호: arXiv:2610.31821v1)을 발표했으며, 이 논문은 사용자의 고전 아랍 시에 대한 기억 잔여물이 정보 검색 성능에 어떤 영향을 미치는지를 체계적으로 분석한다. 연구에서는 두 개의 시어 corpora를 대상으로, 아홉 가지 밀도 부호화기와 고전 어법 기반 검색기인 BM25를 비교하고, 세 가지 인덱싱 방식과 두 가지 평가 프로토콜(알려진 항목 검색 및 주제 관련성 검색)을 포괄했다.
결과는 다음과 같이 나타났다: 검색기의 성능 우열은 절대적이지 않고, 쿼리가 포함하는 원시 시구의 구성 요소에 따라 결정된다. ‘혀끝 효과’ 유형의 쿼리(즉, 사용자가 일부 단어만 막연히 기억하는 경우)에서는 BM25가 Recall@5=0.746으로 최고의 밀집 부호화 모델(0.717)을 앞섰지만, 고도로 추상적인 쿼리에서는 BM25가 10가지 방법 중 8위(0.392)로 하락하여 최적의 밀집 부호화 모델(0.748)보다 훨씬 낮았다. 인공 편집 실험을 통해 추가로 확인된 바에 따르면, 기억한 반 시구를 한 줄만 추가해도 BM25의 성능이 38포인트나 상승하는 반면, 인위적으로 인용 문구를 재작성하면 8B 밀집 모델과 동등한 수준에 도달했다.
메커니즘 분석에 따르면, BM25의 동작은 어휘적 포함 관계에 의해 주도되며, 밀집 부호화기(dense encoder)는 임베딩 공간 내의 근접성에 의존한다. 또한 두 가지 주요 평가 프로토콜은 동일한 시스템에서 상당히 다른 결과를 보여주며, 이러한 현상은 두 명의 맹검 인간 라벨러와 두 명의 오픈소스 가중치 심사자(그 중 한 명은 문자 그대로의 일치 요구 사항이 없는 평가 기준을 사용함)에 의해 독립적으로 재현되었다. 본 연구는 단일 프로토콜이나 단일 쿼리 스타일만을 보고하는 벤치마크는 성능에 대해 심각하게 왜곡된 모습을 제시할 수 있음을 강조한다. 모든 코드와 데이터는 오픈소스로 공개되어 있다: https://github.com/Ellzo/what-the-query-remembers。