保留完整资讯流，用来源、主题和时间找到你关心的消息。
arXiv：2610.33014v1 发布类型：新 提要：谈判助手无需准确预测对方的反应，也能达成一笔不错的交易。我们探讨的是，针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是，当系统或实验者选定某一行动后，真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时，而用于评估的反应数据在拟合过程中已被排除；且两项研究均对干预措施进行了随机化处理。此外，我们对25篇有关语言模型的研究进行了全文核查，未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。
arXiv：2610.33004v1 发布类型：新 提要：光学字符识别（OCR）对于历史档案的数字化至关重要，然而诸如字符错误率（CER）等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中，我们从实体层面分析OCR错误，以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集，包含来自Berrutti档案馆的175份文档，并辅以5,209个经人工标注的实体提及——这些标注将在论文被接收后公布——对序列识别型OCR系统、专为OCR设计的视觉-语言模型以及通用视觉-语言模型进行了比较。除了全局转录准确率之外
2026年10月26日，arXiv发布论文arXiv:2610.31838v1，提出Sense-Aligned Grounding Evaluation（SAGE）——一个统一的10候选图像选择基准，并配套训练无关的Gloss-Augmented Reasoning（GAR）框架，用于跨名词、动词和实体中心的多模态接地评估。
推荐理由：该研究首次将VWSD、VerSe和WikiDiverse三类任务统一为术语中心的接地评测协议，引入混淆难负样本与上下文交换诊断机制，并通过实证表明定义增强与约束引导推理的协同可显著提升Hits@1指标（65.90→71.22），为多模态语义对齐提供了更细粒度、可解释的评估新范式。
一项发表于2026年10月26日arXiv的最新研究（arXiv:2610.31821v1）表明，在古典阿拉伯诗歌检索任务中，用户对诗句的记忆残留程度（如是否记得半行诗）比模型能力更关键地决定了检索性能；BM25在“舌尖效应”类查询中优于所有稠密编码器（含8B参数SOTA模型），但在抽象查询中大幅落后。
推荐理由：该研究通过双语料库、三索引模式与双评估协议的系统性基准测试，首次量化揭示了查询抽象度对不同检索范式（词法vs.稠密）的支配性影响，并经人类标注员与开源权重模型双重验证，结论具有方法论普适性与实证稳健性。
arXiv论文（2610.31678v1）指出，在交互式大语言模型评估中，仅依赖自动评分器的整体准确率或F1分数会掩盖提示特定错误，导致对提示效应的误判；实证显示同一评分器在不同提示下的假阳性率差异巨大（2.6%–33.3%），且表面显著的9.3点效应在双LLM评审下缩至2.3点且不显著。
推荐理由：该研究基于真实实验数据（6个模型、180个虚构实体问题、6种提示条件），揭示了当前LLM评估中普遍存在的方法论漏洞——将 scorer 整体性能等同于其在关键对比任务中的可靠性。其核心主张（须分别审计各提示、纳入不确定性）具有明确实证支撑和可操作建议，时效性强（2026-10-26发布），来源可信（arXiv预印本平台）。
arXiv于2026年10月26日发布的论文《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》提出MISCONCEPTDIALOGUE自动化评估框架，基于5000+轮对话测试5种开源小参数LLM（7B–14B）作为数学辅导模型的表现。研究发现，主流的精确匹配（exact-match）评分方式仅得42.1%补救成功率，而经人工校准的LLM裁判评估同一对话达81.3%，差距达39.2个百分点；且该偏差非偶然——四类LLM裁判与200条人工标注结果高度一致（kappa最高0.91）。此外，模型对诊断信息（正确/错误概念）响应几乎无差异，表明其难以有效利用诊断输入。
推荐理由：该研究直指当前LLM教育应用评估方法论的核心缺陷：依赖单一、僵化的自动评分可能严重扭曲真实能力判断；其大规模模拟实验设计、多裁判收敛验证及对诊断-教学耦合失效的实证，为AI教育评估标准化提供了关键警示和可复现的方法论基准。
2026年10月24日，研究者在arXiv发布论文arXiv:2610.30841v1，正式推出TRIAD基准——专用于评估文本、图像与音频三模态协同歧义消解能力的新评测框架。该基准含327个手工构建的三模态样本，覆盖86个场景组和18类跨模态歧义类型。
推荐理由：该成果直击当前多模态大模型评测的核心盲区：现有基准多聚焦确定性输入下的感知或推理，而TRIAD首次系统性地以‘模态互补消歧’为评测目标，通过严格设计的留一模态反事实测试，揭示模型（尤其对音频）利用不足、场景级鲁棒性薄弱等关键缺陷，为下一代全模态模型评估提供可复现的诊断协议与分类法。
2026年10月24日，研究者在arXiv发布论文arXiv:2610.30162v1，提出FusionEval——首个专用于评估大语言模型融合方法的统一基准，覆盖推理链长度、工具调用等薄弱环节，并支持训练型与免训练型融合方法对比。
推荐理由：该基准填补了现有评测对长链推理与工具使用覆盖不足的空白，明确区分平均性能与最差能力保留，提供可复现的专家池（基于Qwen3/Llama）、多维指标（含GPU内存与运行时）及开源代码，具强实践指导性。
一篇于2026年10月24日发布在arXiv的论文指出，当前主流编码智能体基准（如SWE-Milestone）存在“规范-预言机差距”：任务自然语言描述未涵盖测试所需的关键实现细节（如常量名、模块路径、精确错误消息），导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。
推荐理由：该研究首次形式化定义该类偏差，构建覆盖五种语言的静态审计工具（精度89.2%，召回率92.9%），并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖，显著拉高失败率（80.6% vs 48.4%），揭示当前排行榜可能系统性偏爱‘抄名称’型智能体；成果已开源审计工具与修正资源，具方法论与实践双重价值。
2026年10月24日，arXiv发布论文arXiv:2610.30970v1，系统评估参数量介于1700万至10亿之间的紧凑编码器在闭合集决策任务（如工具选择）中的设计选择：联合阅读所有选项 vs. 逐个独立评分。研究发现，在3200万参数规模下，逐选项评分在技能指标上显著优于联合评分；但其计算开销更高、延迟更不均衡。多个System1-Arena基准测试显示，6800万和1.5亿参数的联合编码器超越4.35亿参数DeBERTa-v3零样本分类器。
推荐理由：该论文提供了当前大模型下游决策模块轻量化设计的关键实证比较，涵盖架构选择、初始化依赖、延迟-精度权衡及输入顺序鲁棒性等工程关切点，数据基于三随机种子实验与公开/私有基准验证，发布时间（2026-10-24）与当前UTC日期（2026-10-25）一致，属最新可信研究进展。
