Ingeniero de aprendizaje automático

Elegir una arquitectura, entrenarla con tus datos, ajustarla hasta que los números se muevan.

Construir el conjunto de prueba, elegir la métrica, y decir si esto puede usarse ya con personas reales.

Recoger, etiquetar, limpiar y decidir qué dejar fuera — y notar cuándo los datos dicen algo distinto del mundo.

Deriva, una entrada que cambió aguas arriba, un patrón estacional que los datos de entrenamiento nunca vieron — y la decisión de reentrenar, revertir o apagarlo.

Diseñar a mano, a partir del conocimiento del dominio, las señales derivadas de las que aprende un modelo.

Explicar una decisión que el sistema tomó sobre alguien, demostrar que las entradas eran adecuadas para ese fin, y ser la persona con nombre cuando se impugna.

Setenta y cinco competiciones de Kaggle de ingeniería de aprendizaje automático — entrenar modelos, preparar conjuntos de datos, ejecutar experimentos — puntuadas contra las marcas humanas de la clasificación pública de cada competición, así que la comparación es con la gente que de verdad participó. El montaje que mejor rindió en el momento de escribirlo (o1-preview con el andamiaje AIDE) llegó al menos al bronce en el 16,9% de las competiciones; los autores informan además de que escalar los recursos y la contaminación del preentrenamiento cambian ambos el número, y el banco de pruebas es de código abierto, así que cualquiera puede volver a correrlo sobre un modelo más nuevo. Dos límites son estructurales y no accidentales: una competición de Kaggle llega con el problema ya enmarcado, la métrica ya elegida y los datos ya recogidos, que es justo la parte de este trabajo que el banco de pruebas no puede medir en absoluto; y OpenAI construyó el banco de pruebas y vende modelos medidos con él.

Una demostración, una prueba de referencia o un artículo muestran que la tarea se puede hacer. Actualiza lo que la tecnología puede hacer, no lo que harán las empresas.

Casi todo lo que enseña un curso — arquitecturas, ajuste, diseño de características — es la parte que esta página marca como desplazada, y una de ellas se desplazó antes de que empezaras a estudiar. La parte escasa es aquella para la que los cursos no pueden poner deberes con facilidad: construir una prueba que el modelo no haya visto ya, y decir en voz alta que algo todavía no es lo bastante bueno. Acércate a un sistema que esté funcionando con personas reales, aunque sea pequeño, antes de lo que parece razonable.

Si tu valor era saber a qué modelo echar mano, ese conocimiento se depreció rápido y sigue depreciándose. Si es saber cómo se rompe este dominio — cuánto cuesta aquí una respuesta equivocada, qué entradas faltan, qué significa un número plausible cuando la población cambió — esa es la mitad que escaseó más, porque lo que hay que juzgar se volvió más difícil de juzgar. La versión incómoda: buena parte de las contrataciones recientes del campo han sido de gente que sabe llamar bien a una API, que es otro trabajo con otro techo.

Quedarte y reforzarte

Ser dueño del instrumento de medida

Cuando el modelo está comprado, la evaluación es lo único que queda que sea tuyo — y un conjunto de prueba construido con tus propios fallos no es algo que un proveedor pueda suministrar.

Rehacer el puesto

Irte a donde no se puede comprar un modelo

Dominios estrechos, datos propietarios, presupuestos de latencia duros, y entornos donde no se permite una entrada inexplicable — en todos ellos el sustituto comprable no existe, y el conjunto de destrezas clásico sigue siendo el conjunto de destrezas.

Movimiento lateral

Tomar la obligación antes de que te la asignen

Se están atando deberes a los sistemas aprendidos que se usan sobre personas, y exigen a alguien que pueda mostrar qué consumió el modelo y por qué eso era adecuado para ese fin. En la mayoría de los equipos esa persona todavía no existe.

Aquí las partes se mueven en direcciones opuestas, cosa que un solo número escondería. Entrenar un modelo a medida se ha desplazado para una parte grande de los problemas, y no porque una máquina aprendiera a hacerlo — porque el producto se volvió comprable, que es una clase reversible de desplazamiento. Juzgar si un sistema aprendido es lo bastante bueno se ha vuelto a la vez más difícil y más escaso. Una señal que puedes comprobar tú: de tus tres últimos trabajos, cuántos acabaron en un modelo entrenado y cuántos en un juicio sobre uno que entrenó otro. El segundo número es hacia dónde va el puesto.

Una parte, y conviene ser preciso sobre cuál, porque el mecanismo es inusual. Lo que se fue es el artefacto a medida, no una capacidad humana: tu problema tiene ahora un sustituto comprable. Esa clase de pérdida se revierte — se mueven el precio, la licencia, el límite de uso o la capacidad de un proveedor y el trabajo vuelve — cosa que no es cierta del trabajo que una máquina aprendió de verdad a realizar. Lo que no se fue es saber si el sustituto está funcionando de verdad sobre tu problema, y eso se volvió más difícil exactamente en el mismo movimiento.

Plantearlo como una elección entre dos conjuntos de destrezas es lo que hace difícil responderlo. La posición duradera en los dos es la misma: ser la persona en cuyo juicio sobre si la cosa funciona se confía. Lo que difiere es el precio de entrada — construir encima ahora mismo casi no lo tiene, y por eso ese carril está lleno y el techo en él lo fija si sabes distinguir un buen resultado de uno plausible. Si solo puedes hacer una cosa bien, haz la de juzgar.

La demanda y la exposición son preguntas distintas y esta página solo responde a la segunda, cosa que conviene decir porque se confunden a menudo. La observación honesta es que el cargo cubre ahora dos trabajos con techos distintos — uno que entrena y evalúa sistemas, y otro que ensambla aplicaciones sobre un modelo comprado — y las ofertas rara vez los distinguen. Antes de aceptar un puesto, pregunta qué sacó el equipo el trimestre pasado y si alguien construyó un conjunto de prueba para ello. La respuesta te dice cuál de los dos trabajos significa allí el cargo.