Conceptizer：仅靠下一个标记预测并不够

arXiv:2610.33027v1 发布类型：新 摘要：下一个标记预测（NTP）仅奖励紧随其后的那个标记，而对所有其他可能的候选标记均予以惩罚。然而，自然语言往往存在多种表达相同意义的方式。我们提出了一种名为 Conceptizer 的训练框架，它在下一个标记预测的基础上，额外引入了针对语义的奖励机制。Conceptizer 使用一个固定且与模型无关的约 9,000 个概念词汇表，该词汇表由上下文中的同义词构成，将这些概念作为语义单元，与作为文本单元的标记并列使用。它将每个下一个标记的分布映射为一个概念分布，并在目标语义的所有可能表述之间共享相应的奖励。这种方法能够在不增加模型参数的前提下，提供概念级别的训练信号。在应用于包含 10 亿至 80 亿参数的三类模型时，Conceptizer 实现了最低的保留集 NTP 对数困惑度。