AI 自动翻译
arXiv：2610.33012v1 发布类型：新
摘要：具备工具调用能力的大型语言模型（LLM）智能体，在从相同初始状态出发的多次独立运行中，表现出行为不一致的现象，例如调用不同的工具、产生相互矛盾的输出，或采取迥异的策略。这种行为波动会随时间累积，进而削弱部署的可靠性。现有的评估指标主要通过基于任务完成度的分数来衡量正确性，而未能捕捉智能体在不同执行过程中的行为一致性。此外，对智能体行为的分析要么停留在词元层面，借助概率分布进行评估；要么局限于单次响应层面，采用语义聚类方法，但两者均无法刻画不一致性如何在轨迹的后续步骤中进一步传播。为此，我们提出递归语义分歧（RSD），这是一种无监督的轨迹级一致性度量，源自强化学习中的互模拟度量。RSD利用自然语言推理检测逻辑不一致性，衡量同一智能体从相同状态出发的两条独立轨迹之间预期的累计语义分歧，并以未来状态为递归基础，通过基于独立轨迹训练的神经网络加以近似。该学习得到的度量能够从当前状态预测未来的分歧程度，在每一步提供一致性评分，而无需等待整个轨迹完整执行。作为微调阶段的奖励信号，RSD可将tau2-bench上的任务进展波动从132%降至91%，在toolsandbox上则从90%降至44%，同时在多个基准测试及不同模型规模下均提升了性能。以RSD作为额外的奖励信号进行训练，能够在无需标注数据的情况下，实现与有监督微调相当的性能，且显著降低结果的方差。