跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

baseVultra:新型紧凑型非线性循环单元聚焦候选生成,小规模场景下性能超越LSTM与GRU

arXiv于2026年10月24日发布论文arXiv:2610.30154v1,提出新型循环神经网络单元baseVultra。该模型通过将密集循环计算集中于单一H×H候选生成矩阵、以O(H)对角交互替代传统门控矩阵,在TinyShakespeare等紧凑设置中验证了其有效性:在200K参数单层配置下验证损失达1.594,优于同参数LSTM(1.604)和GRU(1.616),且密集计算开销仅为GRU的约54%。

2026年10月24日,一篇题为《baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity》的论文在arXiv平台首发(编号arXiv:2610.30154v1),提出新型紧凑型非线性循环单元baseVultra。该工作针对当前仍由LSTM和GRU主导的门控循环单元设计范式,探索将循环计算资源从门变换重新分配至候选值生成路径。

baseVultra的核心设计包括:使用单一H×H密集矩阵专责候选生成;以O(H)复杂度的对角交互替代传统门控中的密集循环矩阵;候选更新融合密集分支、两个低秩辅助分支、EMA缓存及可学习输出混合;门控部分还引入对前两步隐状态h_{t-2}的轻量二阶对角访问。在TinyShakespeare字符级建模任务中,其200K参数单层配置取得1.594验证损失,优于同参数LSTM(1.604)与GRU(1.616),且密集矩阵-向量运算量约为GRU的54%。

在更大规模text8数据集上,baseVultra达到1.854比特每字符(bpc),略逊于GRU(1.849)与LSTM(1.837);而在形式语言探针Counter任务中(隐藏维H=16),其分布外(OOD2)准确率达0.991,显著高于GRU(0.761)与LSTM(0.691)。论文指出,此类增益高度依赖紧凑配置,随隐藏维度增大而减弱,表明baseVultra适用于资源受限的流式序列建模场景。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态