摘要：多阶段分析任务要求大语言模型代理利用中间证据来决定是继续、重定向还是停止。自我反思——即代理对其输出进行批判性评估——已得到广泛研究，但这种反思并不能说明证据是否影响了下一步行动。我们把这一能力称为“自我约束”。现有的代理基准测试大多仅衡量任务完成度或输出质量，而未对这一能力进行检验。DMAIC-Bench 通过围绕精益六西格玛明确的统计学前提构建的15个行业案例、涵盖四个领域的97个种子任务，对此进行了评估。成对的反事实变体在相同的工作流节点上要求采取相反的动作，从而能够区分有依据的自我约束与无差别的停顿。我们借助专用评分器对执行轨迹进行评估，并通过独立专家评审对最终结论作出判断。在来自六家供应商的13个模型中，执行层面的路由准确率在匹配的“允许”决策上平均为92%，而在“不允许”决策上仅为19%；任何被禁止的下游计算均被视为路由错误。执行轨迹显示，代理会在执行那些结果所不支持的分析之前报告出正确的诊断结论。此外，对11个受审代理的盲测专家评审估计，在达到“不允许”决策时，有47%的报告基于无效证据作出，置信区间为31%至61%。明确的停止权限虽有助于部分模型，但并未能在“允许”和“不允许”两条分支上始终恢复正确的决策。在大规模核糖核酸测序（RNA‑seq）以及病例对照全基因组关联研究（GWAS）中的16项生命科学任务中表明，同一框架同样能够评估超越工业工作流的、依赖证据的决策。项目代码与数据可通过以下HTTPS网址获取：
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。