2026年10月24日，一项新发布的学术研究在arXiv平台（编号arXiv:2610.30504v1）正式推出JSFactCheckBench——一个面向日语场景的大语言模型（LLM）事实核查评估基准。该基准旨在解决当前评测体系的关键缺陷：以往所有基准均未同时明确界定三项核心设计要素，即‘声明所回答的问题’‘各声明的判断条件’以及‘被认可为证据的信息来源’。
JSFactCheckBench包含1913条声明，全部来自LLM对日本社交平台上曾广泛传播的误导性信息所作的回答；每条声明均依据预选网络信源，在特定参考时间点完成双重人工标注：事实性（真/假/无法判定）与对该问题的重要性等级。研究团队在六种LLM上测试发现，所有模型对‘直接回答问题’的声明验证准确率均低于‘补充性声明’，而这一差异被传统聚合评分所掩盖。
进一步实验表明，当验证任务要求模型从更长文本或多份信源中定位相关信息时，所有模型得分均下降；对全部四种开源模型而言，加入原始提问与LLM完整回复作为上下文后，其事实核查表现亦显著变差。论文强调，这些薄弱环节仅在JSFactCheckBench显式记录每条标注背后具体条件的前提下才得以识别——若基准隐去这些元信息，则此类系统性偏差将无法被观测和归因。