Los modelos punteros produjeron un 0% de salidas válidas en un esquema de información financiera de 369 campos, y un dominio aprobó solo el 12,5% pese a un 90% de salidas válidas, informaron los autores de ExtractBench

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Una prueba comparativa de extracción de datos estructurados de 35 documentos PDF con etiquetas de referencia anotadas por personas, 12.867 campos en total. Los autores informan de que los modelos punteros siguen sin ser fiables con esquemas realistas, de que el rendimiento se degrada bruscamente con la amplitud del esquema, hasta llegar a un 0% de salidas válidas en un esquema de información financiera de 369 campos con todos los modelos probados, y de que en un dominio los modelos logran un 90% de salidas válidas pero solo un 12,5% de aprobados. Los autores trabajan en una empresa que vende productos de documentos; es una prueba comparativa, no una medida de la práctica.

Qué significa esto

Qué no muestra todavía

Una prueba comparativa de una empresa con intereses; los modelos mejoran, y no mide cuánta comprobación se hace en la práctica.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente