ChatPaper.aiChatPaper

Pourquoi la prédiction des capacités en aval des modèles d'IA de pointe avec l'échelle reste-t-elle insaisissable ?

Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?

June 6, 2024
Auteurs: Rylan Schaeffer, Hailey Schoelkopf, Brando Miranda, Gabriel Mukobi, Varun Madan, Adam Ibrahim, Herbie Bradley, Stella Biderman, Sanmi Koyejo
cs.AI

Résumé

Un comportement prévisible lors de la mise à l'échelle des systèmes d'IA avancés est une propriété extrêmement souhaitable. Bien qu'une littérature bien établie existe sur la manière dont les performances en pré-entraînement évoluent avec l'échelle, la littérature sur l'évolution des capacités spécifiques en aval est nettement plus floue. Dans ce travail, nous prenons du recul et posons la question suivante : pourquoi la prédiction de capacités spécifiques en aval avec l'échelle reste-t-elle insaisissable ? Bien que de nombreux facteurs soient certainement en cause, nous identifions un nouveau facteur qui rend difficile la modélisation du comportement de mise à l'échelle sur des benchmarks largement utilisés de questions à choix multiples. En utilisant cinq familles de modèles et douze benchmarks bien établis de questions à choix multiples, nous montrons que les performances en aval sont calculées à partir des log-vraisemblances négatives via une séquence de transformations qui dégradent progressivement la relation statistique entre les performances et l'échelle. Nous révélons ensuite le mécanisme à l'origine de cette dégradation : les métriques en aval nécessitent de comparer le choix correct à un petit nombre de choix incorrects spécifiques, ce qui signifie que prédire avec précision les capacités en aval nécessite non seulement de prédire comment la masse de probabilité se concentre sur le choix correct avec l'échelle, mais aussi comment la masse de probabilité fluctue sur des choix incorrects spécifiques avec l'échelle. Nous étudions empiriquement comment la masse de probabilité sur le choix correct co-varie avec la masse de probabilité sur les choix incorrects avec l'augmentation de la puissance de calcul, suggérant que des lois de mise à l'échelle pour les choix incorrects pourraient être réalisables. Notre travail explique également pourquoi les lois de mise à l'échelle en pré-entraînement sont généralement considérées comme plus prévisibles que les capacités en aval et contribue à établir des évaluations prévisibles avec l'échelle pour les modèles d'IA de pointe.
English
Predictable behavior from scaling advanced AI systems is an extremely desirable property. Although a well-established literature exists on how pretraining performance scales, the literature on how particular downstream capabilities scale is significantly muddier. In this work, we take a step back and ask: why has predicting specific downstream capabilities with scale remained elusive? While many factors are certainly responsible, we identify a new factor that makes modeling scaling behavior on widely used multiple-choice question-answering benchmarks challenging. Using five model families and twelve well-established multiple-choice benchmarks, we show that downstream performance is computed from negative log likelihoods via a sequence of transformations that progressively degrade the statistical relationship between performance and scale. We then reveal the mechanism causing this degradation: downstream metrics require comparing the correct choice against a small number of specific incorrect choices, meaning accurately predicting downstream capabilities requires predicting not just how probability mass concentrates on the correct choice with scale, but also how probability mass fluctuates on specific incorrect choices with scale. We empirically study how probability mass on the correct choice co-varies with probability mass on incorrect choices with increasing compute, suggesting that scaling laws for incorrect choices might be achievable. Our work also explains why pretraining scaling laws are commonly regarded as more predictable than downstream capabilities and contributes towards establishing scaling-predictable evaluations of frontier AI models.

Summary

AI-Generated Summary

PDF90December 8, 2024