OpenESM：能量引导模型具有可扩展性，是基础学习者

arXiv:2610.33005v1 发布类型：新 摘要：基于能量的模型在特定领域任务中表现出良好的性能，但在建模通用场景时仍面临挑战。为弥合这一差距，我们设计了用于基础语言建模的能量引导模型（ESMs）。ESMs 将能量引导与标记生成整合于同一架构之中，利用能量引导的搜索来优化标记生成。具体而言，ESMs 首先在能量景观上优化潜在状态，随后基于优化后的潜在状态进行标记生成。通过在大规模语料库上开展此类能量引导的预训练，ESMs 学习到一种普遍有效的能量景观，其中有利的标记对应较低的能量值。为探究 ESMs 的规模扩展特性，我们对 ESM 进行了预训练