一项文档级评估发现:ChatGPT 改不好跨句的一致、指代和时态错误

事件日期 / 报道日期

2023-04-04

证据阶段

技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。

关联任务

校对与纠错

找出并改正拼写、语法和前后一致性的错误。

正在被增强✓ 有证据支撑

适用范围

一项语法纠错评估。作者报告,ChatGPT 的查错能力很强,改后的句子非常流畅,这可能是因为它过度修改、不遵循最小改动原则;但在文档层面,它改不好跨句的一致、指代和时态错误,以及跨句边界的错误。它使用的是 2023 年的模型。

这意味着什么

对整份文件做校对 —— 让它跨句保持一致 —— 恰恰是模型做得最差的部分。

还不能说明什么

这是 2023 年的评估;较新的模型处理文档可能更好。

你可以核实什么

打开 arXiv 论文 2304.01746,找到 "cannot effectively correct"。

是否改变评估

否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 1 项关联判断维持原状。

来源

一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。