arXiv · Education + AI· 自如教育观察·· 12 天前精选
让AI假扮学生,聊久了就走样:提示词还得不断纠偏
AI 导读
研究让4种模型生成1200段、每段28轮的两类ADHD学生模拟对话。行为特定提示使模型评定的角色漂移率下降87%,但并未消除漂移;研究对象是模型模拟,不是真实学生。
推荐理由
Reviewed Edu@AI import
正文
教育研究者有时用大模型模拟学生,但对话拉长后,模型可能逐渐偏离设定的人格。研究在四种模型、两种ADHD设定下生成1,200段28轮对话,比较定时重述、反思提醒和由监测器生成的行为特定提示。
相较不干预,重述设定使模型评定的漂移率下降35%至38%,反思提醒下降22%至27%,行为特定提示下降87%;没有一种方法完全消除漂移,动态介入也未显示优于固定时机。指标来自模型对生成对话的评分,不是ADHD学生的真实行为,提示策略本身还需拆分验证。
来源:arXiv · Education + AI · arxiv.org