AI 自动翻译
摘要：我们推出了 Nemotron 3.5 Bolt 74B-A9B 24GB，这是一种混合型 Mamba-Transformer 视觉语言模型，能够在本地智能体驱动的工作负载中，为每 GB 内存实现速度与智能的最优平衡。该模型源自 Nemotron 3.5 Super VL 120B-A12B 系列，通过结合 Star Elastic 压缩与 2 位量化感知蒸馏技术，适用于内存受限的部署场景。该模型针对推理、智能体工具调用以及网页与终端交互进行了优化。此外，我们还训练了一款名为 LiLiCorr 的投机式起草模型，并随本模型一同发布，以达到预期的推理速度。最终得到的模型在多项基准测试中，于通用智能体能力（如 GDPVal v2）、网页浏览（如 BrowseComp）以及终端使用（如 Terminal-Bench 2.1）等方面，均实现了与同类内存占用规模和速度相近的领先模型相当甚至更高的准确率；同时，在 RTX Spark 上的每秒事务处理量（TPS）高达 84，这一性能与那些活跃参数量低得多的模型相当，足以满足长周期智能体应用的需求。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。