一项研究报告:把行程规划交给形式化求解器后成功率升至 93.9%,而 o1-preview 单独做只有 10%

事件日期 / 报道日期

2024-04-18

证据阶段

技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。

关联任务

编排复杂行程

把航班、酒店、接送和预算放进一份满足所有约束的方案里。

正在被增强✓ 有证据支撑

适用范围

一项研究:让语言模型把旅行需求转译成约束满足问题,交给形式化求解器。在 TravelPlanner 上,它报告最好的模型 o1-preview 单独找到可行方案的比例为 10%,而该框架的成功率达到 93.9%,并能推广到未见过的约束。这是带求解器的测试环境,不是真实预订。

这意味着什么

当模型把约束交给求解器时,复杂行程变得可解 —— 难点转移到把约束准确地说出来。

还不能说明什么

这是基准中的研究框架;没有显示在旅行社中的部署。

你可以核实什么

打开 arXiv 2404.11891,找到 "success rate of 93.9%"。

是否改变评估

否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 1 项关联判断维持原状。

来源

一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。