Scaling inverso: quando più grande non è meglio

Inverse Scaling: When Bigger Isn't Better

June 15, 2023

Autori: Ian R. McKenzie, Alexander Lyzhov, Michael Pieler, Alicia Parrish, Aaron Mueller, Ameya Prabhu, Euan McLean, Aaron Kirtland, Alexis Ross, Alisa Liu, Andrew Gritsevskiy, Daniel Wurgaft, Derik Kauffman, Gabriel Recchia, Jiacheng Liu, Joe Cavanagh, Max Weiss, Sicong Huang, The Floating Droid, Tom Tseng, Tomasz Korbak, Xudong Shen, Yuhui Zhang, Zhengping Zhou, Najoung Kim, Samuel R. Bowman, Ethan Perez

cs.AI

Abstract

La ricerca sulle leggi di scalabilità ha dimostrato che i modelli linguistici di grandi dimensioni (LM) mostrano miglioramenti prevedibili nella perdita complessiva con l'aumento della scala (dimensioni del modello, dati di addestramento e risorse computazionali). Qui presentiamo prove a sostegno dell'ipotesi che i LM possano mostrare una scalabilità inversa, ovvero una peggiore prestazione nei compiti con l'aumento della scala, ad esempio a causa di difetti nell'obiettivo di addestramento e nei dati. Forniamo evidenze empiriche di scalabilità inversa su 11 dataset raccolti attraverso un concorso pubblico, l'Inverse Scaling Prize, con un premio consistente. Attraverso l'analisi di questi dataset, insieme ad altri esempi presenti in letteratura, identifichiamo quattro potenziali cause di scalabilità inversa: (i) la preferenza a ripetere sequenze memorizzate piuttosto che seguire le istruzioni contestuali, (ii) l'imitazione di modelli indesiderati nei dati di addestramento, (iii) compiti che contengono un'attività distraente semplice su cui i LM potrebbero concentrarsi, invece del compito reale più difficile, e (iv) dimostrazioni few-shot corrette ma fuorvianti del compito. Rilasciamo i dataset vincitori su https://inversescaling.com/data per consentire ulteriori indagini sulla scalabilità inversa. I nostri compiti hanno contribuito alla scoperta di tendenze di scalabilità a forma di U e a U invertita, in cui una tendenza iniziale si inverte, suggerendo che le tendenze di scalabilità sono meno affidabili nel prevedere il comportamento di modelli su larga scala rispetto a quanto precedentemente compreso. Nel complesso, i nostri risultati suggeriscono che esistono compiti per i quali l'aumento della scala del modello da solo potrebbe non portare a progressi e che è necessario un pensiero più attento sui dati e sugli obiettivi per l'addestramento dei modelli linguistici.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.