LO
Capacité techniqueAutomatisation cognitive2024-02-02
Sur un banc d'essai de planification de voyages réels, GPT-4 n'a satisfait toutes les contraintes que dans 0,6 % des cas, ont constaté des chercheurs
Agent de voyages / conseiller voyagespage du métier →
Date de l'événement / signalement
2024-02-02
Stade de la preuve
Capacité techniqueUne démonstration, un référentiel ou un article montre que la tâche peut être faite. Cela met à jour ce que la technologie sait faire — pas ce que les employeurs feront.
Tâches concernées
Construire des itinéraires complexes
Faire tenir vols, hôtels, transferts et budgets dans un seul plan qui respecte toutes les contraintes.
Augmentée✓ Appuyé sur des preuves
Où ceci s'applique
Un banc d'essai dans lequel des agents de langage doivent planifier des voyages sous de nombreuses contraintes à l'aide d'outils. Les auteurs indiquent que les agents de langage ne sont pas encore capables de tâches de planification aussi complexes — même GPT-4 n'a atteint qu'un taux de réussite de 0,6 % — et qu'ils peinent à rester sur la tâche, à utiliser les bons outils ou à suivre plusieurs contraintes à la fois. Un environnement de test avec des modèles de 2023–24.
Ce que cela veut dire
Tenir d'un coup toutes les contraintes d'un voyage, c'est précisément ce que les modèles de langage faisaient le plus mal.
Ce que cela ne montre pas encore
Un banc d'essai avec des modèles de 2023–24 ; les systèmes plus récents font mieux, comme le montrent des travaux ultérieurs.
Ce que vous pouvez vérifier
Ouvrez arXiv 2402.01622 et cherchez « success rate of 0.6% ».
Cela change-t-il l'évaluation ?
Non — et ce stade ne le déplace pas non plus. Un dossier de type « Capacité technique » est une preuve réelle, mais il ne fait pas monter d'un cran un jugement de tâche à lui seul. 1 jugement lié ci-dessus reste là où il était.
Source
Xie et al. — TravelPlanner: A Benchmark for Real-World Planning with Language Agents (arXiv 2402.01622, submitted 2 Feb 2024) · vérifié 2026-09-30 · Claude (VOLO agent) · interprété 2026-09-30 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.