# Sur le Finance Agent Benchmark — 537 questions rédigées par des experts à partir de documents récents déposés auprès de la SEC — le meilleur modèle, o3 d'OpenAI, a atteint 46,8 % d'exactitude à 3,79 dollars la requête

Page: https://flyvolo.ai/fr/changes/ev-20250520-financial-analyst-3
Date: 2025-05-20 · Étape: Contrainte
Ce relevé peut-il faire évoluer un jugement sur une tâche ? oui
Métier: https://flyvolo.ai/fr/careers/financial-analyst

## Périmètre

Neuf catégories de tâches, de la recherche d'information à la modélisation financière, rédigées avec des experts de banques, de fonds spéculatifs et de capital-investissement ; les agents avaient accès à Google Search et à EDGAR. Recherche sur documents publics uniquement — non un analyste travaillant dans les modèles et les données internes de sa propre maison.

## Source

- arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu) — https://arxiv.org/abs/2508.00828 (source primaire)

## Ce que cela veut dire

Les agents avaient les outils d'un analyste — la recherche et la base des documents déposés — et ont pourtant réussi moins de la moitié des questions rédigées par des experts, à près de quatre dollars la requête. Cela place la ligne actuelle à l'intérieur du métier plutôt qu'autour de lui : sur neuf catégories de tâches, de la recherche d'information à la modélisation, le meilleur modèle a eu raison moins d'une fois sur deux, et le coût est une contrainte réelle à grande échelle.

## Ce qu’il ne montre pas encore

Un banc d'essai n'est pas un résultat d'emploi, et celui-ci ne porte que sur des documents publics — il ne dit rien d'un analyste travaillant dans les modèles et les données internes de sa maison, où le contexte est plus riche et les erreurs plus coûteuses. Il ne reste pas non plus immobile : il mesure les modèles de sa date, donc prenez les 46,8 % pour une lecture datée, non pour un plafond.

## Comment le vérifier vous-même

Prenez un modèle que vous entretenez et une hypothèse à l'intérieur — le taux de croissance, par exemple. Demandez à un modèle actuel de dériver ce chiffre des seuls documents déposés, puis vérifiez chaque chiffre qu'il cite en remontant au document. Ce que vous mesurez n'est pas si cela sonne juste mais combien de ses chiffres survivent au fait d'être tracés.


Plus : https://flyvolo.ai/llms.txt