同一批作文换个模型或版本，评分严厉度就变了

这项预注册审计把大模型当作评分者，而不是只看它与人工分数的一次相关。研究覆盖两种语言的2,377篇作文、12个模型评委和多个供应商版本，检查严厉度、光环效应、可靠性、版本变化和差异功能。

模型评委之间的严厉度差异很大；五组版本比较都出现超出随机波动的变化。重复评分的一致性可以不错，但不等于达到人工评分准确度；研究也报告了两个预注册检验的零结果，并撤回自己关于光环效应的强结论。评分系统要做版本监测和校准，不能只看排行榜上的单次分数。