跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究提出“图式一致性量表”(SCI)评估语言模型信念组织性

2026年10月26日,arXiv发布论文arXiv:2610.31683v1,提出Schema Coherence Inventory(SCI)——一种含96题的强制选择量表,用于检验 persona-conditioned语言模型所被赋予的信念是否真正组织其认知,而非仅触发情绪反应。

2026年10月26日,一项发表于arXiv的新研究(编号arXiv:2610.31683v1)正式提出Schema Coherence Inventory(SCI,图式一致性量表),旨在解决persona-conditioned语言模型在模拟患者或情感代理时的关键难题:如何区分模型是真正以内化信念指导行为,还是仅因情绪唤起而表现出表面一致的反应。

SCI包含96道强制选择题,覆盖Beck认知模型的八个层级,每题提供六个选项,分别对应三类负向自我图式及其正向对照;评分采用长度归一化的对数似然值,全程无需文本生成或解析。其核心判据为‘目标特异性’——即专为某一信念构建的条件,必须比其他同类图式条件更频繁地激活该信念。

研究通过六项验证实验,在五种不同参数规模(1.7B–14B)的语言模型上完成107种条件测试;九名临床受训评估者能以79.5%准确率识别预设信念(随机水平为16.7%);所有30个信念单元均显示显著目标特异性提升(+17.7分);SCI剖面可在30次自由生成中正确匹配24次(远超偶然预期的5次)。此外,48题简版与原量表相关系数达r = 0.73。

在对六个已发布的患者模拟器的实际应用中,无一能比单句陈述更有效承载其宣称的核心信念。研究强调该验证路径将认知构念与伴随情绪分离,并以临床判断为金标准,为语言模型的情感与信念测量提供了可扩展模板。作者同步公开全部题目、评分代码及简版量表。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态