LazyFlash：用于加速长上下文微调的前向密集、后向稀疏注意力机制

arXiv:2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；加之其额外的复杂性，使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练后的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a