En 50 tareas de geoprocesamiento, el mejor modelo produjo flujos de trabajo válidos el 95% de las veces, pero detectar relaciones espaciales y seleccionar emplazamientos siguió siendo lo más difícil, constató un banco de pruebas

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas de 50 tareas de geoprocesamiento en Python derivadas de problemas SIG reales. Modelos propietarios como ChatGPT-4o-mini alcanzaron un 95% de validez de los flujos de trabajo, mientras que modelos abiertos más pequeños como DeepSeek-R1-7B llegaron al 48,5%; las tareas que exigen un razonamiento espacial más profundo, como detectar relaciones espaciales o seleccionar el emplazamiento óptimo, siguieron siendo las más difíciles, y los autores piden una evaluación rigurosa antes de afirmar una automatización completa de los SIG. Que un flujo de trabajo sea válido no significa que los resultados sean correctos.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas que puntúa la validez de los flujos de trabajo, no si las respuestas son correctas.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente