Modelos de fronteira produziram 0% de resultados válidos num esquema de relato financeiro com 369 campos, e um domínio só teve 12,5% de aprovação apesar de 90% de resultados válidos, relataram os autores do ExtractBench

Data do facto / publicação

Categoria da prova

Tarefas sobre as quais incide

Onde é que isto se aplica

Um benchmark de extração de dados estruturados de 35 documentos PDF com etiquetas de referência anotadas por pessoas, 12.867 campos no total. Os autores relatam que os modelos de fronteira continuam pouco fiáveis em esquemas realistas, que o desempenho se degrada fortemente com a amplitude do esquema, culminando em 0% de resultados válidos num esquema de relato financeiro com 369 campos em todos os modelos testados, e que num domínio os modelos atingem 90% de resultados válidos mas uma taxa de aprovação de apenas 12,5%. Os autores trabalham numa empresa que vende produtos de tratamento de documentos; é um benchmark, não uma medida da prática.

O que isto significa

O que ainda não mostra

Um benchmark de uma empresa interessada; os modelos melhoram, e não mede quanta verificação se faz na prática.

O que podes verificar

Muda a avaliação?

Fonte