跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

查询记忆程度决定古典阿拉伯诗歌检索效果:BM25与稠密编码器表现随查询抽象度显著分化

一项发表于2026年10月26日arXiv的最新研究(arXiv:2610.31821v1)表明,在古典阿拉伯诗歌检索任务中,用户对诗句的记忆残留程度(如是否记得半行诗)比模型能力更关键地决定了检索性能;BM25在“舌尖效应”类查询中优于所有稠密编码器(含8B参数SOTA模型),但在抽象查询中大幅落后。

2026年10月26日,arXiv发布题为《What the Query Remembers: Query Abstraction Governs Lexical and Dense Retrieval of Classical Arabic Poetry》的研究论文(编号arXiv:2610.31821v1),系统考察用户对古典阿拉伯诗歌的记忆残留如何影响信息检索效果。研究在两个诗歌语料库上,对九种稠密编码器与经典词法检索器BM25展开对比,覆盖三种索引方式与两种评估协议(已知项检索与主题相关性检索)。

结果表明:检索器优劣并非绝对,而由查询所携带的原始诗句成分决定。在‘舌尖效应’型查询(即用户仅模糊记得部分字词)中,BM25以Recall@5=0.746领先最佳稠密编码器(0.717);但在高度抽象的查询中,BM25跌至十种方法中的第八位(0.392),远低于最优稠密编码器(0.748)。人工编辑实验进一步证实:仅添加一行被记住的半诗,即可使BM25性能跃升38个点;而手动重写引述词句则使其与8B稠密模型持平。

机制分析显示,BM25行为由词法包含关系主导,稠密编码器则依赖嵌入空间邻近性;且两种主流评估协议在相同系统上呈现显著分离——该现象经两名盲审人类标注员及两名开源权重裁判(其中一位采用无字面匹配要求的评分标准)独立复现。研究强调:仅报告单一协议或单一查询风格的基准,可能给出严重失真的性能图景。全部代码与数据已开源:https://github.com/Ellzo/what-the-query-remembers。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态