2026년 10월 24일 arXiv에 게재된 연구(번호 2610.31172v1)는 다국어 환경에서 널리 사용되는 ‘대규모 언어 모델을 평가 심판으로 활용하는’(LLM-as-a-Judge) 방법의 프롬프트 전략이 갖는 효과에 중대한 한계가 있음을 지적한다. 흔히 권장되는 체인오브씽크(Chain-of-Thought)와 롤컨디셔닝(Role Conditioning) 등의 전략은 주로 영어 기준에서 도출되었으며, 그 성과를 다른 심판 모델이나 비영어권 언어로 신뢰성 있게 이전할 수 없다는 점을 보여준다.
이 연구는 현재까지 가장 포괄적인 다국어 프롬프트 안정성 벤치마크를 구축했으며, 9가지 프롬프트 전략, 4개의 오픈소스 가중치 평가 모델, 27개 언어 및 13개 데이터셋에서 수행된 4가지 유형의 과제를 포함합니다. 또한 황금 기준 출력에 대한 점대점 평가를 100만 건 이상 생성했으며, 이 모든 평가는 인적 판단을 통해 검증되었습니다. 그 결과, 프롬프트 전략은 이전 적용성이 없으며, 평가 모델의 선택이 평가 결과를 주도하고 그 영향력이 프롬프트 전략 선택보다 훨씬 크다는 점이 확인되었습니다. 동일한 전략이라도 서로 다른 평가 모델에서는 상반된 효과를 나타낼 수 있습니다. 또한 저자원 언어에서는 안정성이 현저히 감소하는데, 이러한 문제는 종종 전체 평균 보고서에 의해 은폐되는 경향이 있습니다.
연구는 다국어 평가에서의 힌트 효과가 본질적으로 심사 모델, 과제 유형 및 언어의 세 가지 요인에 의해 동시에 제약된다고 강조한다. 따라서 힌트 전략은 각각의 구체적 평가 상황에 맞춰 별도로 검증되어야 하며, 연구 간 비교 시에는 심사 모델과 힌트 구성 모두를 함께 공개해야만 그 결과를 비교할 수 있다. 원문에서는 구체적인 모델 이름, 언어 목록 또는 수치 비교의 세부 사항을 제공하지 않았으며, 모든 결론은 해당 실험 설계의 범위 내에서만 한정된다.