跳到正文
原文
Nature · Education· 自如教育观察·· 8 天前精选

AI抄对了研究数据,也未必算得对综合结论

AI 导读

四种模型拿到同样的原始论文,尝试完成五项眼科荟萃分析。单个数据格的正确率能到70%至87.5%,合并效应值的匹配率却只有20%至60%。把材料找齐,离可靠地合成证据,还隔着一段路。

推荐理由

Reviewed Edu@AI import

正文

Eye的一项短报告让四种模型处理同样的研究PDF,重建五项眼科荟萃分析。评估涉及20组研究与结局、80个表格单元。提取单元格的准确率为70%至87.5%,合并优势比按小数点后两位与参照匹配的比例却只有20%至60%。

样本只有五项分析,不能据此形成跨版本的模型总排名;但它清楚地区分了两件事:抽出数据,和正确综合证据。作者判断生成的森林图都还需要人工修正。这是证据生产工具的有限测试,不是对相关眼科治疗的重新推荐。

来源:Nature · Education · nature.com