斯坦福大学与加州大学伯克利分校的研究人员于2026年10月25日公开发布TokenGate——一种面向大语言模型（LLM）长上下文预填充阶段的可学习令牌剪枝技术。该模块以‘即插即用’方式集成至已有模型，在保持原始任务准确率不变的前提下，将首字生成时间（Time-to-First-Token, TTFT）提升1.4倍至11.3倍，峰值内存占用降低1.5倍至3.4倍。
TokenGate的核心机制是在Transformer某中间层（记为L层）后插入一个小型多层感知机（MLP）门控模块，并结合LoRA（r=16）进行轻量微调。该模块对输入文档部分的每个令牌生成重要性得分，再通过Top-K选择保留关键令牌；后续高层仅处理这些K个令牌，且不为其生成KV缓存。问题提示部分则被强制保留，不可剪枝。
为解决Top-K选择不可导导致无法端到端训练的问题，TokenGate引入类MoE路由器机制：将保留令牌的得分转化为注意力logits上的可学习偏置项，并辅以每头增益（per-head gain）与可学习温度系数（temperature）进行校准，使梯度可回传至评分模块。训练采用标准下一个词预测损失，并混合全上下文损失与随机预算损失，确保单次训练的门控模块可适配多种剪枝预算。
实验基于Qwen3-1.7B与Qwen3.5-2B模型，在RepoBench-P、2WikiMultihopQA、MultiNews、BioDEX及needle-in-a-haystack（NIAH）等5项基准上测试，上下文长度最高达128k令牌。结果显示：在NIAH-16k任务中达到最优性能（TTFT加速11.3倍、内存降低3.42倍）；在128k上下文下TTFT加速达13.0倍，内存节省稳定在约3.43倍；在2WikiMultihopQA任务中，以95%全上下文准确率为代价，实现3.0倍TTFT加速与2.7倍内存下降。
TokenGate在混合注意力模型（如Qwen3.5-2B，含Gated DeltaNet与全注意力层）中亦表现稳健：在NIAH-32k任务中，于第3层施加门控即可达到全预填充精度，速度比全预填充快3.8倍、比FastKV快2.1倍；若在第1或第2层门控，加速可达7.8倍，精度损失仅6%。相比之下，FastKV等基线方法仅能作用于纯注意力层，无法处理DeltaNet等非标准结构。
该技术已开源实现，支持Python 3.10+与CUDA PyTorch 2.9+，可选集成FlashAttention-2键偏置核以进一步加速；GitHub仓库提供全部5项任务的Qwen3-1.7B检查点，以及Qwen3.5-2B在NIAH任务上的专用门控模型（如Hugging Face模型ID：liana313/tokengate-niah-qwen3-1.7b）。训练耗时约为标准LoRA微调的1.3倍，但4/5任务收敛更快，平均训练时间为1.8个A100小时（对比基线2.2小时）。