基于状态空间编码的线性时间上下文压缩

arXiv：2610.33006v1 发布类型：新

摘要：基于Transformer的大型语言模型（LLM）在上下文长度增加时会带来巨大的计算与内存开销，这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构，而生成压缩表示的过程往往会产生显著的延迟开销，从而使其仅适用于离线场景——即先对上下文进行一次压缩，随后在多次查询中重复使用。我们提出了一种即插即用的在线上下文压缩器——Boa压缩器，它基于Mamba状态空间模型（SSM），能够在单次线性时间扫描中编码任意长度的上下文，并生成可用于条件化冻结目标LLM的表示。该SSM通过蒸馏训练，使摄入完整上下文的LLM（作为教师）与摄入压缩后表示的同一LLM（作为学生）在下一个词的对数概率分布上保持一致。在相同压缩比下，Boa的性能达到或超越现有最先进的离线压缩基线，同时其运行速度比基于Transformer的实现快一个数量级，从而降低了端到端延迟，而非额外增加压缩时间开销。我们还证明，Boa能够很好地扩展至更长的上下文，并支持高达16倍的激进压缩比。通过实现一种足够高效、足以在推理时对每次查询都实时运行的压缩方案，Boa成为一种实用且通用的长上下文高效推理工具。