Perché la previsione delle capacità a valle dei modelli AI di frontiera con il ridimensionamento è rimasta elusiva?

Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?

June 6, 2024

Autori: Rylan Schaeffer, Hailey Schoelkopf, Brando Miranda, Gabriel Mukobi, Varun Madan, Adam Ibrahim, Herbie Bradley, Stella Biderman, Sanmi Koyejo

cs.AI

Abstract

Un comportamento prevedibile derivante dal ridimensionamento di sistemi di intelligenza artificiale avanzati è una proprietà estremamente desiderabile. Sebbene esista una letteratura ben consolidata su come le prestazioni di pre-addestramento si ridimensionano, la letteratura su come specifiche capacità downstream si ridimensionano è significativamente più confusa. In questo lavoro, facciamo un passo indietro e ci chiediamo: perché prevedere specifiche capacità downstream con il ridimensionamento è rimasto elusivo? Sebbene molti fattori siano certamente responsabili, identifichiamo un nuovo fattore che rende difficile modellare il comportamento di ridimensionamento su benchmark ampiamente utilizzati di risposta a domande a scelta multipla. Utilizzando cinque famiglie di modelli e dodici benchmark consolidati a scelta multipla, dimostriamo che le prestazioni downstream sono calcolate dalle probabilità logaritmiche negative attraverso una sequenza di trasformazioni che degradano progressivamente la relazione statistica tra prestazioni e ridimensionamento. Riveliamo poi il meccanismo che causa questa degradazione: le metriche downstream richiedono di confrontare la scelta corretta con un piccolo numero di scelte specifiche errate, il che significa che prevedere accuratamente le capacità downstream richiede non solo di prevedere come la massa di probabilità si concentra sulla scelta corretta con il ridimensionamento, ma anche come la massa di probabilità fluttua su specifiche scelte errate con il ridimensionamento. Studiamo empiricamente come la massa di probabilità sulla scelta corretta co-varia con la massa di probabilità sulle scelte errate con l'aumento del calcolo, suggerendo che potrebbero essere raggiungibili leggi di ridimensionamento per le scelte errate. Il nostro lavoro spiega anche perché le leggi di ridimensionamento del pre-addestramento sono comunemente considerate più prevedibili delle capacità downstream e contribuisce a stabilire valutazioni prevedibili al ridimensionamento per i modelli di intelligenza artificiale all'avanguardia.

English

Predictable behavior from scaling advanced AI systems is an extremely desirable property. Although a well-established literature exists on how pretraining performance scales, the literature on how particular downstream capabilities scale is significantly muddier. In this work, we take a step back and ask: why has predicting specific downstream capabilities with scale remained elusive? While many factors are certainly responsible, we identify a new factor that makes modeling scaling behavior on widely used multiple-choice question-answering benchmarks challenging. Using five model families and twelve well-established multiple-choice benchmarks, we show that downstream performance is computed from negative log likelihoods via a sequence of transformations that progressively degrade the statistical relationship between performance and scale. We then reveal the mechanism causing this degradation: downstream metrics require comparing the correct choice against a small number of specific incorrect choices, meaning accurately predicting downstream capabilities requires predicting not just how probability mass concentrates on the correct choice with scale, but also how probability mass fluctuates on specific incorrect choices with scale. We empirically study how probability mass on the correct choice co-varies with probability mass on incorrect choices with increasing compute, suggesting that scaling laws for incorrect choices might be achievable. Our work also explains why pretraining scaling laws are commonly regarded as more predictable than downstream capabilities and contributes towards establishing scaling-predictable evaluations of frontier AI models.