2026년 10월 24일, ‘What Pairwise Evaluation Misses: Reward Scores across Prompts’라는 제목의 AI 연구 논문이 arXiv 플랫폼에 게재되었으며(논문 번호: arXiv:2610.31090v1), 선호도 최적화, 응답 선별 및 정렬에서 보상 모델(reward models)의 핵심적 역할에 초점을 맞추고 있다. 연구에 따르면, 현재 널리 사용되는 쌍대 평가(pairwise evaluation)는 동일한 프롬프트 하에서 두 개의 응답만을 비교하기 때문에, 모든 응답이 공유하는 프롬프트 관련 점수 구성 요소가 자동으로 상쇄되어 이 구성 요소를 전혀 탐지할 수 없다는 문제가 발생한다.
이러한 간과된 편향을 정량화하기 위해 저자들은 ‘인간 기반 감사’(human-referenced audit)라는 방법을 제안하며, 프롬프트 간 분산 비중 분석, 형제 평가 회귀(sibling-rating regression), 그리고 프롬프트 교체 실험을 종합적으로 활용하고 이를 18개의 공개된 보상 스코어러와 6개의 매칭된 학습 조건에 적용하였다. 그 결과, HelpSteer2 벤치마크에서 6개의 보상 모델의 프롬프트 간 분산 비중은 0.34에서 0.64에 달하는 반면, 대응하는 인간 평가의 프롬프트 간 분산은 거의 제로에 가까워, 모델의 점수가 응답의 품질에 따라 구분되기보다는 오히려 프롬프트에 따라 유의미하게 ‘클러스터링’됨을 보여준다.
추가 실험을 통해 다음과 같은 사실이 밝혀졌다. 원래의 프롬프트를 고정된 지시문으로 대체한 후에도 모델 점수는 여전히 뚜렷한 클러스터링을 유지하지만, 프롬프트 수준에서의 인간 평가와의 일치도는 크게 하락한다. 이는 클러스터링 자체가 인간의 판단과 동일하다는 것을 의미하지 않음을 보여준다. 동시에, 프롬프트의 평균값을 제거하면 전역적으로 선호되는 응답의 유용성이 감소하며, 모델 점수가 학습 과정에서 프롬프트의 평균값을 무작위로 섞어도 여전히 잘못된 프롬프트에 대해 민감하게 반응한다는 점은, 프롬프트 관련 변동성이 순수한 노이즈도 아니고 완전히 신뢰할 수 있는 신호도 아님을 시사한다. 논문은 최종적으로 다음과 같이 권장한다: 모델 평가를 위한 보상 체계에서는 ‘프롬프트 간 변동성’, ‘잘못된 프롬프트에 대한 민감성’, 그리고 ‘응답 선택의 실용성’의 세 가지 요소를 각각 독립적으로 검증해야 한다.