摘要：科学计算日益依赖基于大型语言模型的智能体驱动工具，用于执行诸如插桩、分析和工作流移植等性能工程任务。然而，智能体的效能在很大程度上取决于其配套的测试框架，而该框架通常依赖于人工编写的技能与精心构建的记忆库。这限制了智能体的自主学习能力，迫使它们不得不反复重新探索解决方案，而非保留并复用先前执行过程中积累的知识。我们提出了 Phronix，一种以能力为中心的学习范式，使智能体驱动的测试框架能够从自身的执行过程中获取、验证并优化可复用的能力。Phronix 通过预测—验证—修正的循环运行：MCP 工具及其相关技能提出解决方案，工具执行对这些方案进行验证，而观测到的结果则用于完善存储的能力。它将每一次观测到的交互提炼为能力存储，并针对失败的任务展开研究，而非直接放弃。首先，在所有模型中，这类习得的能力在首次尝试时即可解决重复性任务，成功率高达 93% 至 95%，显著降低了求解过程中的不确定性，提升了可靠性。其次，Phronix 能够在无需用户干预的情况下，为每个任务生成 7.6 至 30.8 个持久化的能力，且一旦所需能力存在，创建成本便可降至两次以下。第三，热启动阶段每项任务仅消耗 0.38 至 0.40 百万 tokens，仅为基准尝试单次耗量的三至四分之一；而冷启动的成本也与基准相当。在 1000 基因组 Pegasus 工作流——即为 I/O 性能分析对生产应用进行插桩——的测试中，Phronix 在 11 项正确性检查中全部通过，而基准测试框架仅通过 6 项；此外，Phronix 还将两款更经济的模型在 SWE-bench 中的解题率分别从 29% 和 27% 提升至更高水平。 任务的准确率分别达到91%和87%，与评估中价格最高的模型性能相当。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。