跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

TutorCaseBench发布:首个面向特殊教育场景的LLM家教评估基准

2026年10月24日,研究者在arXiv(编号2610.30828v1)发布TutorCaseBench——一个基于教育学、教育心理学与特殊教育真实案例构建的LLM家教评估基准,聚焦支持存在学习与行为困难学生的能力。该基准含923段对话、覆盖5类挑战行为,采用开放式生成(1560题)与多选题(2537题)双轨评估;11个前沿大模型中表现最优者仅在55.8%的开放题中满足评估标准。

2026年10月24日,一项新研究在arXiv平台(论文编号2610.30828v1)正式发布TutorCaseBench,这是首个专门针对存在学习与行为困难学生(如注意力缺陷、情绪调节障碍、社交沟通挑战等)设计的大型语言模型(LLM)家教能力评估基准。

TutorCaseBench摒弃通用教育评测范式,转而扎根于教学法、教育心理学及特殊教育领域的质性案例研究,通过系统化流程将文献记载的学生行为类别转化为具体教学场景、师生对话样本及基于实证的评分细则。基准共包含923段结构化师生对话,覆盖五类典型挑战行为,并设置1560道开放式响应生成题与2537道策略选择题进行双重评估。

在对11个当前最先进LLM的测试中,表现最佳模型在开放式生成任务中仅能在55.8%的案例中满足预设评估标准;相比之下,模型在多选题中的策略识别能力明显更强。这一差距凸显LLM普遍缺乏将干预原则转化为具体、适切、情境化响应的能力,尤其在开源权重模型中更为突出。全部数据已开源,托管于GitHub(https://github.com/kixlab/TutorCaseBench)。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态