一项于2026年10月24日发布在arXiv（编号2610.31172v1）的研究指出，在多语言场景下广泛使用的‘大模型作为评估裁判’（LLM-as-a-Judge）方法，其提示策略有效性存在严重局限：Chain-of-Thought（思维链）和Role Conditioning（角色设定）等常被推荐的策略，仅基于英文基准得出，其效果无法可靠迁移到其他裁判模型或非英语语言中。
该研究构建了迄今最全面的多语言提示鲁棒性基准，涵盖9种提示策略、4个开源权重裁判模型、27种语言及13个数据集上的4类任务，生成超100万条针对黄金参考输出的点对点评分，并全部通过人工判断验证。结果表明：提示策略不具备可转移性；裁判模型的选择主导评估结果，其影响远大于提示策略选择；同一策略在不同裁判模型上可能产生相反效果；在低资源语言中稳定性显著下降，而此类问题常被整体平均报告所掩盖。
研究强调，多语言评估中的提示效应本质上受裁判模型、任务类型和语言三者共同制约。因此，提示策略必须针对具体评估场景单独验证；跨研究比较时，须同时披露裁判模型与提示配置，否则结论不可比。原文未提供具体模型名称、语言列表或数值对比细节，所有结论均限定于该实验设计范围内。