OpenESM：能量引导模型具有可扩展性，是基础学习者

arXiv：2610.33005v1 发布类型：新

摘要：基于能量的模型在特定领域任务中表现出良好的性能，但在建模通用场景时仍面临挑战。为弥合这一差距，我们设计了能量引导模型（ESM），用于基础语言建模。ESM 将能量引导与标记生成整合于同一架构之中，利用能量引导的搜索机制来优化标记生成。具体而言，ESM 首先在能量景观上优化隐状态，随后基于优化后的隐状态进行标记生成。通过在大规模语料库上开展此类能量引导的预训练，ESM 学习到一种普遍有效的能量景观，其中有利的标记对应较低的能量值。为探究 ESM 的规模扩展特性，我们在三组大规模语料库上进行了预训练，并在涵盖广泛领域的26项下游任务上进行了评估。结果表明，随着模型规模和训练数据量的增加，ESM 展现出良好的规模扩展性，在多数下游任务上优于 GPT 系列模型。这些发现凸显了 ESM 作为大规模预训练与通用问题求解的有前景架构。我们已全面公开模型权重及训练基础设施，以便社区能够完整复现并拓展我们的研究成果。

GitHub：https://github.com/datamllab/openesm HuggingFace：https://huggingface.co/collections/guan-wang/openesm