BARC基准测试:良性请求,风险后果
arXiv:2610.32024v1 发布类型:新 摘要:用户向智能体发出的任务指令本质上往往不够明确,尤其是在安全边界方面——这会带来行为风险。为研究此类风险,我们提出了 BARC-Bench,这是一个包含 110 项任务的基准,涵盖九种模拟工作空间环境;在这些环境中,看似无害的请求可能会为不安全操作留下可乘之机。在该基准中,我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界,对智能体的行为进行评估。例如,当一个智能体被要求安排离职面谈时,必须在不通过共享日历邀请过早暴露员工辞职信息的前提下安排会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现,m
