Inverse Scaling : Quand plus grand n'est pas synonyme de mieux

Résumé

Les travaux sur les lois d'échelle ont montré que les grands modèles de langage (LMs) présentent des améliorations prévisibles de la perte globale avec une augmentation de l'échelle (taille du modèle, données d'entraînement et puissance de calcul). Ici, nous présentons des éléments de preuve soutenant l'affirmation selon laquelle les LMs pourraient montrer un phénomène d'échelle inverse, c'est-à-dire une performance dégradée sur certaines tâches avec l'augmentation de l'échelle, par exemple en raison de défauts dans l'objectif d'entraînement et les données. Nous présentons des preuves empiriques d'échelle inverse sur 11 ensembles de données collectés lors d'un concours public, le Prix d'Échelle Inverse, doté d'une importante récompense. À travers l'analyse de ces ensembles de données, ainsi que d'autres exemples trouvés dans la littérature, nous identifions quatre causes potentielles d'échelle inverse : (i) une préférence à répéter des séquences mémorisées plutôt qu'à suivre les instructions en contexte, (ii) l'imitation de modèles indésirables dans les données d'entraînement, (iii) des tâches contenant une tâche de distraction facile sur laquelle les LMs pourraient se concentrer, plutôt que la tâche réelle plus difficile, et (iv) des démonstrations few-shot correctes mais trompeuses de la tâche. Nous publions les ensembles de données gagnants sur https://inversescaling.com/data pour permettre une investigation plus approfondie de l'échelle inverse. Nos tâches ont contribué à la découverte de tendances d'échelle en forme de U et de U inversé, où une tendance initiale s'inverse, suggérant que les tendances d'échelle sont moins fiables pour prédire le comportement des modèles à plus grande échelle que ce qui était précédemment compris. Globalement, nos résultats suggèrent qu'il existe des tâches pour lesquelles l'augmentation de la taille du modèle seule pourrait ne pas conduire à des progrès, et qu'une réflexion plus approfondie est nécessaire concernant les données et les objectifs pour l'entraînement des modèles de langage.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.

Inverse Scaling : Quand plus grand n'est pas synonyme de mieux

Inverse Scaling: When Bigger Isn't Better

Résumé

Support