一所医学院的开发者报告:其 AI 工具在基金申请草稿中标出受政策限制的措辞,准确率为 100%,但漏掉了约四分之一

事件日期 / 报道日期

2025-11-27

证据阶段

试点真实场景里的小规模试验。说明落地条件正在被检验,不代表条件已经成立 —— 所以单独一次试点永远不够,两次互不相干的才够。

关联任务

预算、规则与合规

编制预算,满足每个项目征集的资格和格式要求,并按资助方要求作出声明,包括 AI 的使用。

正在被增强✓ 有证据支撑

适用范围

美国。一所医学院构建了一个结合规则与大模型的安全工具,用来检测受不断变化的州与联邦政策限制的申请措辞并给出替代说法;其精确率 1.00、召回率 0.73、F1 为 0.84,优于通用模型,25 名教职员工对其可用性评价很高。由一个机构的开发者自行构建和评估。

这意味着什么

按资助规则检查申请草稿的工具正在出现,但仍会漏掉东西。

还不能说明什么

这是一个机构的工具,由构建者自己评估。

你可以核实什么

打开 PubMed 记录 41308189,找到 "recall of 0.73"。

是否改变评估

否。影响指数不会被单条事件改变。这条记录做到的是:上面 1 项关联任务的判断从「推断」变成了「有证据支撑」。

来源

一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。