# O teste de referência GDPval da OpenAI recolheu entregas reais de agentes de compras e pôs especialistas do setor a classificar às cegas o resultado dos modelos face a elas

Página: https://flyvolo.ai/pt/changes/ev-20251005-procurement-specialist-1
Data: 2025-10-05 · Fase: Capacidade técnica
Este registo pode alterar um juízo sobre uma tarefa? não
Profissão: https://flyvolo.ai/pt/careers/procurement-specialist

## Âmbito

Os compradores e agentes de compras são uma das 44 profissões norte-americanas do teste de referência, nos nove setores que mais contribuem para o PIB dos EUA; 1.320 tarefas no conjunto completo com pelo menos 30 por profissão, cada uma construída a partir de trabalho real de um profissional com 14 anos de experiência em média e cobrindo a maioria das atividades de trabalho dessa profissão segundo a O*NET. O que é classificado é uma entrega, à primeira, através de uma comparação cega aos pares entre especialistas — e não um trabalho. Não há cliente, nem ronda de revisão, nem negociação, nem consequência por estar errado. O valor de título (47,6% das entregas do subconjunto de ouro de um modelo classificadas como melhores ou tão boas quanto as do especialista) é da geração de modelos de setembro de 2025 e já foi ultrapassado; mais útil é o artigo indicar que as taxas de vitória são mais altas nas tarefas de 0 a 2 horas e descem de forma constante à medida que a tarefa se alonga. As taxas por profissão só são publicadas como um gráfico, por isso não é aqui citado qualquer número específico de compras. A OpenAI desenhou o teste, correu-o, e vende modelos medidos por ele.

## Fonte

- GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374) — https://arxiv.org/pdf/2510.04374 (fonte primária)

## O que isto significa

Alguém pôs por escrito, em público e numa forma contra a qual qualquer um pode testar um modelo, o que este posto produz: cerca de trinta entregáveis reais de compras feitos por alguém com mais de uma década atrás. Isso deixa no registo público uma descrição do lado dos entregáveis desta ocupação. Vale mais a pena ler pela descrição do que pela pontuação: o banco de ensaio é uma lista daquilo em que a metade deste posto que produz documentos de facto consiste.

## O que ainda não demonstra

Não mostra um modelo a fazer o teu trabalho, e os autores do banco de ensaio não afirmam que o faça. Uma tarefa do GDPval chega completamente especificada, com os seus ficheiros de referência anexos, e é corrigida uma só vez. As partes desta ocupação que não são um entregável (saber que um fornecedor está prestes a falhar, decidir a quem se deixa ficar a faltar, ser a pessoa a quem um diretor de fábrica telefona à meia-noite) não estão lá dentro e nunca se pretendeu que estivessem. Também não diz que alguma entidade patronal tenha mudado alguma coisa: é uma medida de capacidade, e a capacidade não é adoção.

## Como o verificar por si

Pega no trabalho do mês passado e separa-o em dois montes: coisas que acabaram num documento que outra pessoa leu, e coisas que acabaram numa decisão ou num telefonema. O GDPval é um teste apenas ao primeiro monte. A proporção entre os teus dois montes é o que há a saber, e mais ninguém a pode calcular por ti.


Mais: https://flyvolo.ai/llms.txt