跳到正文
原文
arXiv · Education + AI· 自如教育观察·· 2026-08-31精选

给模型加上人口标签,反而可能让少数群体更失声

AI 导读

研究比较23个开源模型在三类主观任务中的判断分布。未提示人口信息时,模型更贴近白人、大学学历者;加入画像后,多数群体更受迎合,少数群体差距反而扩大,冒犯性判断尤其明显。

推荐理由

Reviewed Edu@AI import

正文

模型被用作主观任务的“评委”时,关键问题不只是准不准,还包括它复制了谁的判断。研究比较23个开源模型在三类任务中的输出,并将无画像、单一人口属性和交叉画像条件,与真实标注者群体的判断分布进行对照。

不提供人口信息时,模型更贴近白人、大学学历标注者;加上人口画像后,输出仍不对称地靠近多数群体、远离少数群体,冒犯性判断上的交叉画像差异尤其突出。指令微调可能参与造成偏移,但仍需验证。结果说明画像提示并非自动实现代表性,还可能加重偏差。

来源:arXiv · Education + AI · arxiv.org