AI 自动翻译
arXiv:2610.36353v1 发布类型：新
摘要：大型语言模型（LLMs）常常将含糊的输入视为具有单一明确含义而作出回应。这存在一个问题，因为输入的模糊性本身就是不确定性的一个上游来源：当一个提示可能存在多种合理解释时，关键问题在于模型是否应当直接给出答案。现有的输入不确定性检测方法往往依赖于由大型语言模型生成的语句或澄清，但这类转换可能在衡量模糊性之前就已经完成了对输入的消歧。我们提出了一种用于输入模糊性检测的标签保持扰动框架，该框架使扰动尽可能贴近原始输入，同时保留其标签信息。我们基于这一原则实现了两种检测器：一种是基于规则的黑盒扰动库，另一种则是利用模型内部信号、以重要性为导向的白盒方法。在开放域、对话式及视觉问答等四个数据集上的实验表明，我们的方法优于基于输出端不确定性检测的基线以及基于大型语言模型改写版本的扰动基线。我们的研究结果凸显了在尝试消歧之前进行模糊性检测的重要性。我们的代码已公开，详见\href{https://github.com/Xiao0o0o/input-ambiguity-detection}{\textcolor{purple}{here}}.