Oddin:通过图像生成的自蒸馏实现统一多模态模型中的潜在视觉推理
arXiv:2610.33062v1 发布类型:新 摘要:统一的大型多模态模型(ULMMs)能够通过交错进行的文本-图像生成来执行视觉推理,但生成显式的中间图像会带来显著的计算开销。尽管视觉隐式推理可以解决这一问题,但现有方法大多依赖于无法进行视觉生成的视觉语言模型(VLMs)。我们提出了一种名为Oddin的新框架,能够在ULMMs中实现隐式视觉推理。Oddin用紧凑的隐式标记替代中间图像,这些标记完全由理解分支处理,而生成分支则仅用于生成最终输出图像。我们通过离线自蒸馏训练该模型,包含三项优化目标:最终图像生成损失、文本蒸馏损失以及交叉熵损失,用于