arXiv · Education + AI· 自如教育观察·· 11 天前精选
给课堂对话贴标签,AI得让人看得出它凭什么
AI 导读
EduBehaviors框架不只让模型直接给课堂话语贴标签,而先识别可观察行为,再训练分类器。TalkMoves数据上的最佳宏F1为0.673、Kappa为0.688,方法与直接提示性能相近,但更易审计。
推荐理由
Reviewed Edu@AI import
正文
研究团队提出EduBehaviors,用来标注课堂对话中的教学行为。与直接让大模型给一句话贴抽象标签不同,框架先测量重复出现、可观察的行为,再用这些行为预测教师TalkMoves类别,试图让标签理由更可核查。
在TalkMoves数据集上,最佳配置宏平均F1为0.673、Cohen’s κ为0.688,与直接提示法表现相近。它让研究者能检查模型依赖了哪些行为线索,但这个分数仍有不少误差,也没有证明标注会改善课堂教学。贡献主要在研究方法的可审计性,而非学生学习效果。
来源:arXiv · Education + AI · arxiv.org