
2026年10月24日,一篇题为《Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters》的arXiv预印本(编号2610.31017v1)发布,对当前基于单文档LoRA适配器的知识编辑与检索范式提出关键性质疑。研究在Llama-3.1-8B-Instruct模型上,为150篇维基百科文章各自训练专用LoRA适配器(即‘专家适配器’),并设计开放书评分(文档文本显式提供)与完形填空(cloze)探针(不提供源文本)两种评估方式,以解耦‘阅读行为’与‘知识保留’。
结果表明:开放书评分主要反映一种通用阅读能力——一个在其他文档上训练的随机适配器,能恢复专家适配器相对于基础模型82%的开放书优势;但在同一文档事实的完形填空任务中,该随机适配器仅恢复2%的优势,且该数值在统计上无法与零区分。这说明开放书设置下,性能提升几乎全部来自模型对提示中文本的即时处理,而非适配器权重中存储的特定知识。
尽管专家适配器确实在完形填空任务中以+0.094的绝对提升显著优于基础模型,证实内容信息确实写入了权重,但基于权重空间距离或文本嵌入相似性的适配器选择策略,在两类任务中均未表现出优于随机选择的统计显著性。此外,当合并16个及以上适配器时,正确缩放的融合方案可恢复87–89%的开放书优势,却仅恢复12–16%的完形填空优势(置信区间下限低于零,上限不超过32%),而联合训练则达到94%的完形填空优势,进一步凸显分离式适配器在知识固化上的不足。
论文还特别指出四起‘静默错误’(silent errors):它们未引发运行时异常,输出格式完全正常,但导致了错误结论——这一细节警示该领域方法实现与结果验证的脆弱性。所有结论均基于该预印本所载实验,尚未经过同行评议。