2026年10月24日、arXivプラットフォームにおいて新たに発表された学術研究（論文番号：arXiv:2610.30504v1）により、日本語環境向けの大規模言語モデル（LLM）の事実検証評価基準であるJSFactCheckBenchが正式に導入されました。この基準は、従来の評価体系における重要な欠陥を解消することを目的としています。すなわち、これまでのすべての基準では、「各声明が回答する質問」「各声明に対する判断基準」「証拠と認められる情報源」という三つの核心的な設計要素が同時に明確に定義されていませんでした。
JSFactCheckBenchには、日本国内のSNS上で広く拡散された誤情報について、LLMが生成した回答に基づく1,913件の声明が含まれています。各声明は、事前に選定されたウェブ情報源を基に、特定の参照時点において、事実性（真・偽・判定不能）と当該問題の重要度レベルという二重の手作業によるラベル付けが施されています。研究チームが6種類のLLMで実施した評価では、いずれのモデルも「質問への直接的回答」に関する声明の検証精度が「補足的声明」よりも低く、この差異は従来の集約スコアリング手法によって隠蔽されていることが明らかになりました。
さらなる実験により、検証タスクにおいてモデルがより長い文書や複数の情報源から関連情報を特定するよう求められる場合、すべてのモデルのスコアが低下することが示された。また、4種類のオープンソースモデルのいずれについても、元の質問とLLMによる完全な応答をコンテキストとして追加すると、事実確認性能が顕著に悪化した。論文は、これらの脆弱性が明らかになったのは、JSFactCheckBenchにおいて各ラベル付けの背後にある具体的な条件が明示的に記録されているからにすぎないと強調している。もしベンチマークでこうしたメタ情報が隠されていたならば、このような体系的なバイアスは観測も帰因も不可能だったであろう。