Async-RBench：LLMエージェントにおける非同期タスク実行のベンチマーク

arXiv:2610.32429v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）エージェントは、サブエージェントが実行中にメインエージェントが作業を継続し、その結果が到着する前にタスクの状態が変化することもあり、ますます非同期的にタスクを実行するようになっています。メインエージェントは、禁止された変更を回避しつつ、どの処理を更新または保持し、どのチェックを再実行すべきかを判断しなければなりません。タスクの最終的な成功だけでは、これらの結果が正しく処理されたかどうかを示すものではなく、自然な非同期的な到着パターンは再現が困難です。そこで私たちは、LLMエージェントにおける非同期タスク実行のためのベンチマークであるAsync-RBenchを提案します。このベンチマークには、8つのシナリオを網羅した200の実行可能なタスクが含まれています。シナリオコントローラーは、事前に定義されたタスク状態の条件に基づいて結果の配信を制御し、イベント応答契約（ERC）は各応答が何を意味するかを明示します。