社会世界模型评估差距

arXiv：2610.33014v1 发布类型：新 摘要：谈判助手无需准确预测对方的反应，也能达成一笔不错的交易。我们探讨的是，针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中，9项主要评估测量的是真实个体对系统或实验者所选定之行动的反应；仅有2项还同时将明确的反应预测与实际反应进行对比。这些研究的预测模型所使用的数据均在行动被选择时即可获得，而用于评估的反应则未参与模型的拟合过程；且两项研究均对干预措施进行了随机化处理。此外，我们对25篇基于语言模型的研究进行了全文核查，未发现任何一项实验符合上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等方面。