跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究提出新指标RCG评估LLM生成的合成调查受访者覆盖度

该论文于2026年10月24日发布在arXiv(编号2610.30900v1),提出“受访者覆盖差距”(RCG)这一新评估指标,用于衡量大语言模型(LLM)生成的合成调查受访者在完整答题画像空间中对真实人类受访者的覆盖程度。

一项新发布的学术研究提出“受访者覆盖差距”(Respondent Coverage Gap, RCG)指标,旨在评估大语言模型(LLM)通过硅采样(silicon sampling)生成的合成调查受访者对真实人类群体的代表性。该方法让LLM以设定的人口统计属性‘代入’作答问卷,产出合成人口,目前已逐步替代真实受访者用于社会研究。

与以往聚焦单题准确率、各题答案分布或题目间相关性的评估不同,RCG将每位受访者表示为由全部答案构成的高维空间中的一个点,进而计算每位真实受访者到最近合成受访者之间的距离,并相对于真实受访者内部典型距离进行归一化。该指标可揭示LLM是否生成了现实中从未出现过的答案组合——即使单题分布高度吻合,仍可能完全遗漏某些真实人群类型。

研究在两项美国社会调查数据上测试了六种LLM,在主要实验设置下,所有模型均存在未被覆盖的真实受访者;其RCG值不仅高于独立按人类边际分布采样的基线方法,也高于使用高斯copula拟合人类数据所得的统计模型。该成果发表于arXiv预印本平台,标识号为2610.30900v1,发布时间为2026年10月24日04:00 UTC。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态