# En el Finance Agent Benchmark — 537 preguntas escritas por expertos sobre documentos recientes presentados a la SEC — el mejor modelo, o3 de OpenAI, llegó a un 46,8% de acierto a 3,79 dólares por consulta

Página: https://flyvolo.ai/es/changes/ev-20250520-financial-analyst-3
Fecha: 2025-05-20 · Etapa: Restricción
¿Puede este registro mover un juicio sobre una tarea? sí
Ocupación: https://flyvolo.ai/es/careers/financial-analyst

## Alcance

Nueve categorías de tarea, desde recuperar información hasta modelización financiera, escritas con expertos de bancos, fondos de cobertura y capital riesgo; a los agentes se les dio acceso a Google Search y a EDGAR. Solo investigación sobre documentos públicos — no un analista trabajando dentro de los modelos y los datos internos de su propia firma.

## Fuente

- arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu) — https://arxiv.org/abs/2508.00828 (fuente primaria)

## Qué significa esto

Los agentes tenían las herramientas que tiene un analista (la búsqueda y la base de datos de informes) y aun así acertaron menos de la mitad de las preguntas escritas por expertos, a casi cuatro dólares por consulta. Eso sitúa la línea actual dentro del puesto y no alrededor de él: en nueve categorías de tareas, de la recuperación a la modelización, el mejor modelo acertó menos de la mitad de las veces, y el coste es una restricción viva en volumen.

## Lo que todavía no demuestra

Un banco de pruebas no es un resultado de empleo, y este es solo de informes públicos: no dice nada de un analista trabajando dentro de los modelos de su propia firma y con datos internos, donde el contexto es más rico y los errores salen más caros. Tampoco se queda quieto: mide los modelos de su fecha, así que trata el 46,8% como una lectura fechada y no como un techo.

## Cómo comprobarlo por tu cuenta

Coge un modelo que mantengas y un supuesto de dentro, por ejemplo la tasa de crecimiento. Pídele a un modelo actual que derive esa cifra solo a partir de los informes, y después comprueba cada número que cite contra el documento. Lo que estás midiendo no es si suena bien, sino cuántas de sus cifras sobreviven a que se las rastree.


Más: https://flyvolo.ai/llms.txt