AI 自动翻译
摘要：近期的“测试时训练”（TTT）框架使开放权重的大规模语言模型（LLMs）在科学发现任务上超越了由前沿模型驱动的仅推理框架。然而，TTT 在发现过程中引入了额外的在线权重更新计算开销，这使得在扩展至更大规模模型时，计算效率成为一项重要考量。为此，我们致力于探索一种用于科学发现的高效“测试时适应”方法。我们提出了一种即插即用的测试时适应方法——“测试时记忆演化”（TTME），作为 TTT 的替代方案。TTME 通过蒸馏经验不断更新外部记忆，以指导后续的发现过程，而无需更新模型权重。为确保比较的公平性，我们在同一发现框架下分别评估 TTME 和 TTT，仅替换测试时适应方法。实验结果表明，在五项数学任务中，TTME 均优于 TTT，同时在浮点运算次数（FLOPs）方面降低了 82.8% 至 84.6%，在运行时间方面降低了 47.7% 至 58.4%。这些结果证实，在所评估的发现场景中，TTME 是一种既有效又具备高计算效率的 TTT 替代方案。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。