人工智能驱动的科学代理能否保障模型安全？

arXiv：2610.32045v1 发布类型：新 摘要：面向科学的人工智能代理正日益被用于提出科学假设、开展自主实验以及解读证据。这些代理通过将大型语言模型（LLM）集成到特定领域的代理框架中构建而成，而该框架又能提升LLM的科学能力，并使其能够协调运用各类科学工具。在本研究中，我们探讨了当大型语言模型被整合进面向科学的人工智能代理框架时，模型的安全性是否仍能得到有效保障。我们针对50个有害化学相关请求，对五种代理框架进行了评估。具体而言，我们考察了在直接提示、两种简单的对抗性提示策略以及一种自适应攻击情境下，模型的安全行为如何发生变化。基于四种近期发布的GPT变体，我们的研究结果表明