跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

工具增强型语言模型的提示敏感性研究:工具提升准确率但加剧表述差异影响

一项发表于2026年10月24日arXiv平台的研究(编号2610.31148v1)指出,在工具增强条件下,六种开源语言模型在五类领域、五种问题表述下的对比稳定性未提高;相反,工具虽提升程序可答问题的准确率,却扩大了不同措辞下模型排名变化的敏感性。

一项于2026年10月24日提交至arXiv的研究(论文编号2610.31148v1)系统考察了工具增强对语言模型比较稳定性的影响。研究发现,尽管为模型配备工具可在程序可答问题上提升准确率,却普遍加剧了因问题措辞微小变化而导致模型相对排名波动的现象。

研究团队提出一种匹配协议,将工具调用过程拆解为五个独立环节:答案读出、推理过程、是否调用工具的决策、工具返回的答案、以及不调用工具时的默认报告。该协议应用于六种开源模型,在五个知识领域、五种不同措辞的问题下进行测试。结果显示,表述敏感性的扩大程度与模型调用工具的频率正相关,而调用频率本身又因措辞变化而异——这一现象在部分模型中显著,在另一些模型中则不明显。

进一步分析表明,敏感性受接口与指令设计调控:在分子领域,采用原生工具调用接口并提供第二版工具描述后,未检测到敏感性扩大;但在工具返回中间结果的场景中,敏感性依然持续存在。研究强调,即使模型输出确定(deterministic),也不能保证跨表述的比较结果稳定,并建议未来评估应同步报告调用频率及多措辞下的比较稳定性,而非仅依赖单一准确率指标。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态