EDWARD-NMT：ニューラル機械翻訳における適応型ルーティングと二重一貫性を備えた弾性次元

arXiv:2610.32115v1 発表タイプ：新規 要旨：スパースな専門家混合モデル（MoE）は、ニューラル機械翻訳（NMT）のスケーリングおよび言語の多様性の管理において強力なパラダイムである。しかし、実用上の制約により、リソースが限られたデバイスへの導入は困難である。具体的には、全専門家プールをメモリ上に常駐させる必要があり、さらに各トークンごとの計算リソースは、トレーニング中に厳格なトップ-k ルーティングによって静的に固定されるためである。本研究では、EDWARD-NMT（Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT）を提案する。これは、一度学習させればどこでも展開可能なパラダイムを実現するための新しいMoEエンコーダー・デコーダー構造であり、推論時には複数の展開可能なサブネットワーク群を提供する。EDWARD-NMTは、以下の三つの重要な革新を統合している：(i) マトリョーシカ型の弾性次元を用いてメモリフットプリントを柔軟に削減する手法；(ii) a