篡改的机器学习：评估大型语言模型对机器学习研究的判断

arXiv：2610.32114v1 发布类型：新 摘要：加速人工智能对齐研究进展的一种方法，是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统，包括识别研究方案中的缺陷，以及评估某项实验设计是否支持其预期结论。为评估这一能力，我们提出了“Tampered ML”基准，包含1,858个项目对，每个项目由一篇已发表的机器学习论文重构而成的实验方案，以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计，其中86%的项…