EDWARD-NMT:用于神经机器翻译的自适应路由与双重一致性弹性维度
arXiv:2610.32115v1 发布类型:新 摘要:稀疏混合专家(MoE)是一种强大的范式,可用于扩展神经机器翻译(NMT)并应对语言异构性。然而,实际限制阻碍了其在资源受限设备上的部署:整个专家池必须常驻内存,且每个标记的计算预算在训练期间由严格的 top-k 路由机制静态固定。我们提出了 EDWARD-NMT(用于 NMT 的弹性维度与自适应路由及双重一致性),这是一种新颖的 MoE 编码器—解码器架构,旨在实现“一次训练、随处部署”的范式,并在推理时提供一系列可部署的子网络。EDWARD-NMT 集成了三项关键创新:(i) 采用套娃式弹性维度,以灵活降低内存占用;(ii) 一个
