研究者が日本語の事実検証ベンチマーク「JSFactCheckBench」を公開し、大規模言語モデルの事実検証能力に潜む隠れた欠陥を明らかにした
2026年10月24日、arXivは論文arXiv:2610.30504v1を公開し、新しい日本語ベンチマークであるJSFactCheckBenchを紹介した。このベンチマークは、事実検証評価における三大設計要素（質問の関連性、判断基準、証拠の出所）を初めて明確に定義しており、LLMが日本のソーシャルメディア上の誤情報に対して生成した回答に基づく1,913件の声明を網羅している。さらに、参照時点において事実性と重要性の両面で事前選定されたウェブ情報源に対する二重ラベル付けを実施している。
注目する理由：本研究は、既存のLLM事実検証評価ベンチマークが評価条件を明示的に規定していないという空白を埋めました。構造化されたアノテーションを通じて、主流モデルにおける直接回答型の声明検証、長文・多ソースの位置特定、文脈依存性などの面での体系的な弱点を明らかにし、さらにすべての発見はベンチマークによるアノテーション条件の透明な記録に依拠しているため、方法論的な革新性と実証的価値を有しています。