Inverse Skalierung: Wenn Größer nicht Besser ist

Zusammenfassung

Untersuchungen zu Skalierungsgesetzen haben gezeigt, dass große Sprachmodelle (LMs) vorhersehbare Verbesserungen des Gesamtverlusts mit zunehmender Skalierung (Modellgröße, Trainingsdaten und Rechenleistung) aufweisen. Hier präsentieren wir Belege für die Behauptung, dass LMs eine umgekehrte Skalierung zeigen könnten, d. h. eine schlechtere Aufgabenleistung mit zunehmender Skalierung, beispielsweise aufgrund von Mängeln im Trainingsziel und in den Daten. Wir liefern empirische Belege für eine umgekehrte Skalierung anhand von 11 Datensätzen, die im Rahmen eines öffentlichen Wettbewerbs, dem Inverse Scaling Prize, mit einem beträchtlichen Preisgeld gesammelt wurden. Durch die Analyse dieser Datensätze sowie weiterer Beispiele aus der Literatur identifizieren wir vier potenzielle Ursachen für die umgekehrte Skalierung: (i) die Tendenz, auswendig gelernte Sequenzen zu wiederholen, anstatt kontextbezogene Anweisungen zu befolgen, (ii) die Nachahmung unerwünschter Muster in den Trainingsdaten, (iii) Aufgaben, die eine einfache Ablenkungsaufgabe enthalten, auf die sich die LMs konzentrieren könnten, anstatt die schwierigere eigentliche Aufgabe zu lösen, und (iv) korrekte, aber irreführende Few-Shot-Demonstrationen der Aufgabe. Wir veröffentlichen die gewinnenden Datensätze unter https://inversescaling.com/data, um weitere Untersuchungen zur umgekehrten Skalierung zu ermöglichen. Unsere Aufgaben haben dazu beigetragen, U-förmige und umgekehrt U-förmige Skalierungstrends zu entdecken, bei denen ein anfänglicher Trend sich umkehrt, was darauf hindeutet, dass Skalierungstrends weniger zuverlässig sind, um das Verhalten von Modellen größerer Skalierung vorherzusagen, als bisher angenommen. Insgesamt deuten unsere Ergebnisse darauf hin, dass es Aufgaben gibt, bei denen eine alleinige Erhöhung der Modellgröße möglicherweise nicht zu Fortschritten führt und dass sorgfältigere Überlegungen in die Daten und Ziele für das Training von Sprachmodellen einfließen müssen.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.

Inverse Skalierung: Wenn Größer nicht Besser ist

Inverse Scaling: When Bigger Isn't Better

Zusammenfassung

Support