조작된 ML: 머신러닝 연구에 대한 LLM의 판단 평가

arXiv:2610.32114v1 발표 유형: 신규 초록: AI 정렬 문제의 진전을 가속화하는 한 가지 방안은 정렬 연구의 일부 과정을 자동화하는 것이다. 이를 위해서는 감독하기 어려운 연구 과제들, 예를 들어 연구 제안서의 결함을 식별하고, 제안된 실험이 의도한 주장에 부합하는지 평가하는 등의 작업을 안정적으로 수행할 수 있는 시스템이 필요하다. 이러한 능력을 평가하기 위해 우리는 Tampered ML을 도입한다. 이 벤치마크는 1,858개의 항목 쌍으로 구성되며, 각 쌍은 출판된 머신러닝 논문에서 재구성된 실험 제안과, 특정한 방법론적 결함을 의도적으로 포함한 최소한의 수정을 거친 대조적 사례로 이루어져 있다. 모델들은 두 가지 제시 순서 모두에서 더 방법론적으로 타당한 제안을 식별해야 한다. 계층화된 표본을 대상으로 한 인간 검증 연구에 따르면, 해당 항목의 86%가…