前缀键值对的重要性：在循环语言模型中用于自推测解码的RIPE缓存

arXiv：2610.34436v1 发布类型：新 摘要：循环语言模型在每个标记上会运行 $R$ 轮层，因此其键值（KV）缓存为每递归层保存 $R$ 个平面，而自推测解码（先用几轮进行初步推断，再用全部 $R$ 轮进行验证）则会读取所有这些平面。我们发现，前缀键值的影响主要体现在较晚的阶段：在扰动幅度相同的情况下，第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍（Huginn-0125）和 $e^{12.8}$ 倍（Raven-Llama），且各平面的敏感度随循环次数呈几何级数下降，每轮分别降至 0.88 和 0.81。至于是否仅保留最深层的平面即可，这取决于后期各平面的成熟度：在 Raven 上，仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异；而在 Huginn 上，仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE，该方法仅存储最深层的