AIによる科学向けエージェントはモデルの安全性を保てるのか？

arXiv:2610.32045v1 発表タイプ：新規 要旨：AI-for-Scienceエージェントは、科学的仮説の立案、自律型実験の実行、および証拠の解釈にますます活用されています。これらのエージェントは、特定分野向けのエージェントハーネスに大規模言語モデル（LLM）を統合することで構築され、その結果、LLMの科学的能力が向上し、モデルが科学ツールを調整・連携できるようになります。本研究では、AI-for-ScienceエージェントハーネスにLLMを組み込んだ際、モデルの安全性が維持されるかどうかを検討します。5つのエージェントハーネスを対象に、有害な化学関連のリクエスト50件について評価を行いました。具体的には、直接的なプロンプト入力、2種類の単純な敵対的プロンプト戦略、および適応型攻撃の条件下で、安全性の挙動がどのように変化するかを調査しました。最近のGPT系モデル4種類について、我々の結果は示しています