跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

TauIndianBankBench发布:面向印度零售银行业的程序感知型对话代理评估基准

2026年10月24日,研究者在arXiv(编号2610.30161v1)发布TauIndianBankBench——一个包含1000个任务的行动导向型基准,专用于评估语言模型驱动的银行对话代理是否严格遵循操作规程(如销户前须获取结清报价),而不仅依赖最终记录判断成败。

2026年10月24日,一项名为TauIndianBankBench的新评估基准在arXiv平台(论文编号2610.30161v1)正式发布。该基准聚焦印度零售银行业场景,旨在更精准地衡量工具调用型对话代理在真实业务流程中的合规表现。

TauIndianBankBench包含1000个模拟客户协助任务,覆盖如挂失银行卡、关闭存款账户等典型操作。与常规基准仅检查对话结束时系统记录不同,它同步验证代理是否执行了全部规定步骤(例如‘关闭定期存款前必须先获取结清报价’),并确认未引入任何用户未请求的变更。

研究指出,若仅依据最终记录评判,6.5%至12.0%的会话会被错误判定为成功——实际存在跳过必要步骤或擅自修改状态等问题。这一发现揭示了现有评估方式对程序遵从性缺乏敏感性,可能误导模型在金融场景下的部署可靠性判断。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态