Inverse Scaling: Wanneer Groter Niet Beter Is

Samenvatting

Onderzoek naar schaalwetten heeft aangetoond dat grote taalmmodellen (LMs) voorspelbare verbeteringen in het totale verlies laten zien bij toenemende schaal (modelgrootte, trainingsdata en rekenkracht). Hier presenteren we bewijs voor de bewering dat LMs mogelijk inverse schaling vertonen, of slechtere taakprestaties bij toenemende schaal, bijvoorbeeld door tekortkomingen in het trainingsdoel en de data. We presenteren empirisch bewijs van inverse schaling op 11 datasets die zijn verzameld door het organiseren van een openbare wedstrijd, de Inverse Scaling Prize, met een aanzienlijk prijzengeld. Door analyse van de datasets, samen met andere voorbeelden uit de literatuur, identificeren we vier mogelijke oorzaken van inverse schaling: (i) de voorkeur om gememoriseerde sequenties te herhalen in plaats van in-context instructies te volgen, (ii) het imiteren van ongewenste patronen in de trainingsdata, (iii) taken die een eenvoudige afleidende taak bevatten waar LMs zich op kunnen richten in plaats van de moeilijkere echte taak, en (iv) correcte maar misleidende few-shot demonstraties van de taak. We publiceren de winnende datasets op https://inversescaling.com/data om verder onderzoek naar inverse schaling mogelijk te maken. Onze taken hebben bijgedragen aan de ontdekking van U-vormige en omgekeerde-U schalingstrends, waarbij een initiële trend zich omkeert, wat suggereert dat schalingstrends minder betrouwbaar zijn in het voorspellen van het gedrag van grootschalige modellen dan eerder werd aangenomen. Over het algemeen suggereren onze resultaten dat er taken zijn waarvoor alleen het vergroten van de modelschaal mogelijk niet tot vooruitgang leidt, en dat er zorgvuldiger moet worden nagedacht over de data en doelen voor het trainen van taalmmodellen.

English

Work on scaling laws has found that large language models (LMs) show predictable improvements to overall loss with increased scale (model size, training data, and compute). Here, we present evidence for the claim that LMs may show inverse scaling, or worse task performance with increased scale, e.g., due to flaws in the training objective and data. We present empirical evidence of inverse scaling on 11 datasets collected by running a public contest, the Inverse Scaling Prize, with a substantial prize pool. Through analysis of the datasets, along with other examples found in the literature, we identify four potential causes of inverse scaling: (i) preference to repeat memorized sequences over following in-context instructions, (ii) imitation of undesirable patterns in the training data, (iii) tasks containing an easy distractor task which LMs could focus on, rather than the harder real task, and (iv) correct but misleading few-shot demonstrations of the task. We release the winning datasets at https://inversescaling.com/data to allow for further investigation of inverse scaling. Our tasks have helped drive the discovery of U-shaped and inverted-U scaling trends, where an initial trend reverses, suggesting that scaling trends are less reliable at predicting the behavior of larger-scale models than previously understood. Overall, our results suggest that there are tasks for which increased model scale alone may not lead to progress, and that more careful thought needs to go into the data and objectives for training language models.

Inverse Scaling: Wanneer Groter Niet Beter Is

Inverse Scaling: When Bigger Isn't Better

Samenvatting

Support