2026年10月26日、arXivは「MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring」と題する研究論文（番号：arXiv:2610.31679v1）を公開し、大規模言語モデル（LLM）が数学指導タスクにおいて誤りを検出・潜在的な誤解を診断し、複数回にわたる補完的指導を実施する能力を体系的に評価するための、完全自動化された評価フレームワークであるMISCONCEPTDIALOGUEを提案した。
このフレームワークは、70億～140億パラメータ規模の5種類のオープンソース重み付きLLMとLLMシミュレーション学生を対象に、5,000回を超える対話を行いました。対照群には意図的な誤り診断を含むペア比較実験デザインを採用し、そのシミュレーション的性質が実際の学生の学習効果の検証を意味しないことを明示しています。研究の核心的な発見は、評価手法自体が大きなバイアスを生じさせている点です。標準的な数学NLPでよく用いられるエクスアクマッチスコアでは、補正成功率はわずか42.1%にとどまりますが、同じ対話について人間による校正を経たLLM審判による評価では81.3%に達し、両者の差は39.2ポイントにもなります。この差は、モデルのアーキテクチャや指導戦略、診断情報の提供といった要因を総合した影響を大きく上回っています。
この測定バイアスは、個々の審判による偏りによるものではない。4つの独立したLLM審判グループと200件のヒューマンラベリング結果は、高い一致度を示しており（Cohen’s kappaは最大で0.91）、さらに重要な点として、LLM指導モデルに実際の誤解情報または人為的に置き換えられた誤情報が与えられた場合でも、その是正性能にはほとんど変化が見られなかった。これは、現行の診断情報の提示形式では、モデルが診断結果に基づいて指導行動を適切に調整できないことを示している。
論文はこれに基づき、次のように訴えている。LLMによる数学指導の評価は、多次元的採点、複数の審査員による合意、および人間によるラベル付けを基盤とする標準的な実践へと早急に移行する必要がある。また、「どのように測定するか」という問いに対する慎重さは、そもそも「能力を有しているかどうか」を検証する作業と同等であるべきである。