Escalamiento inverso: cuando más grande no es mejor

Resumen

La investigación sobre las leyes de escalamiento ha encontrado que los modelos de lenguaje (LM, por sus siglas en inglés) muestran mejoras predecibles en la pérdida general con un aumento de escala (tamaño del modelo, datos de entrenamiento y capacidad computacional). Aquí, presentamos evidencia que respalda la afirmación de que los LM pueden mostrar un escalamiento inverso, es decir, un peor rendimiento en tareas con un aumento de escala, por ejemplo, debido a fallas en el objetivo de entrenamiento y los datos. Presentamos evidencia empírica de escalamiento inverso en 11 conjuntos de datos recopilados mediante la realización de un concurso público, el Premio de Escalamiento Inverso, con un premio sustancial. A través del análisis de los conjuntos de datos, junto con otros ejemplos encontrados en la literatura, identificamos cuatro causas potenciales del escalamiento inverso: (i) preferencia por repetir secuencias memorizadas en lugar de seguir instrucciones en contexto, (ii) imitación de patrones indeseables en los datos de entrenamiento, (iii) tareas que contienen una tarea distractora fácil en la que los LM podrían enfocarse, en lugar de la tarea real más difícil, y (iv) demostraciones pocos ejemplos correctas pero engañosas de la tarea. Publicamos los conjuntos de datos ganadores en https://inversescaling.com/data para permitir una mayor investigación sobre el escalamiento inverso. Nuestras tareas han contribuido al descubrimiento de tendencias de escalamiento en forma de U y U invertida, donde una tendencia inicial se revierte, lo que sugiere que las tendencias de escalamiento son menos confiables para predecir el comportamiento de modelos a mayor escala de lo que se entendía anteriormente. En general, nuestros resultados sugieren que existen tareas para las cuales el aumento de escala del modelo por sí solo puede no conducir a mejoras, y que se necesita una reflexión más cuidadosa sobre los datos y los objetivos para entrenar modelos de lenguaje.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.

Escalamiento inverso: cuando más grande no es mejor

Inverse Scaling: When Bigger Isn't Better

Resumen

Support