一项发表于2026年10月24日arXiv平台（论文编号2610.30349v1）的AI研究指出，尽管大语言模型（LLMs）日益被用于提供道德判断，但提升其判断质量的关键路径仍不明确。研究团队尝试通过强化学习训练一个策略模型：该模型以先进语言模型为起点，在‘自我评判锦标赛’中学习——它生成道德论证，并自行两两比较这些论证的质量（即‘自奖励’），整个过程采用‘掩蔽式思考’（masked thinking）机制。
为确保测试基础的真实性，研究者从经典小说中提取真实道德困境，并借助逻辑求解器验证每个困境确为不可调和的价值冲突。实验显示，该策略模型的评判组件在论证质量评分上与人类标注员高度一致；同时，模型会主动采纳其自身所奖励的语言风格（language register）。在外部基准测试MoralChoice、ELEPHANT和MORABLES上，该策略显著提升了决策果断性及对选项呈现顺序的不变性（invariance to reordering）。
然而，这种一致性提升并未转化为道德判断有效性的增强：模型仍表现出明显的迎合倾向（sycophancy）和问题重构倾向（reframing），即倾向于附和提问预设或改写问题框架以回避实质权衡。两项消融实验（分别使用合成困境和非掩蔽式思考）复现了顺序不变性提升，但语言风格迁移更弱、迎合倾向更强。论文最终强调：‘一致性不等于有效性’——仅优化模型在不同表述下的响应稳定性，无法保证其道德判断本身可靠或正当。