El equipo de Bing de Microsoft informa de que desde finales de 2022 usa LLM junto con etiquetadores humanos expertos para la mayoría de sus etiquetas de relevancia offline, y de que los encuentra más precisos que los etiquetadores externos

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Cuatro investigadores de Microsoft describiendo la propia práctica de etiquetado de Bing en un artículo de congreso revisado por pares. Escriben que Bing lleva usando LLM, junto con etiquetadores humanos expertos, para la mayoría de sus métricas offline desde finales de 2022; que, según su experiencia, las etiquetas de los LLM resultaron más precisas que las de cualquier etiquetador externo, incluido el personal, mucho más rápidas y muchas veces más baratas; y que con el tiempo han tenido que construir conjuntos de referencia más difíciles para poder seguir distinguiendo entre etiquetadores y entre instrucciones. Las etiquetas alimentan sobre todo métricas de evaluación y no datos de entrenamiento, y Microsoft construye y vende los modelos usados, así que tiene interés en el asunto. No dice nada sobre cuántos etiquetadores o ingenieros emplea ese trabajo.

Qué significa esto

Qué no muestra todavía

Describe la práctica de un solo equipo, sobre todo para etiquetas de evaluación, contada por la empresa que vende los modelos; no muestra que el etiquetado de datos de entrenamiento vaya por el mismo camino ni ningún cambio de plantilla.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente