LO
Capacidade técnicaAutomatização cognitiva2023-09-25
Os contos gerados por modelos de linguagem passaram em 3–10 vezes menos testes de criatividade do que os de autores profissionais, concluiu uma avaliação de especialistas
Escritor e autorpágina da profissão →
Data do facto / publicação
2023-09-25
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Escrever ficção e livros
Redigir romances, contos e livros de não ficção.
Aumentada pela máquina≈ Inferência da plataforma
Onde é que isto se aplica
Um estudo em que 10 escritores criativos avaliaram 48 contos escritos por autores profissionais ou por modelos de linguagem, usando um conjunto de testes de criatividade. Os autores relatam que os contos gerados por modelos passam em 3–10 vezes menos testes do que os contos escritos por profissionais, e que nenhum dos modelos usados como avaliadores tem uma correlação positiva com os especialistas. Usou modelos de 2023; entre os coautores há investigadores de uma empresa de IA.
O que isto significa
Avaliados por escritores, os contos dos modelos a partir de instruções ficaram muito aquém da ficção profissional — a distância no ofício era grande em 2023.
O que ainda não mostra
Modelos de 2023 e um pequeno conjunto de contos; os modelos mais recentes e a afinação mudam o quadro.
O que podes verificar
Abre o artigo do arXiv «Art or Artifice?» (2309.14556) e procura «3-10X less TTCW tests».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Chakrabarty, Laban, Agarwal, Muresan and Wu (Columbia University and Salesforce AI Research) — Art or Artifice? Large Language Models and the False Promise of Creativity, arXiv:2309.14556 (CHI 2024; submitted 25 Sep 2023) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.