Prédiction de la Performance des Tâches avec des Lois d'Échelle Sensibles au Contexte

Predicting Task Performance with Context-aware Scaling Laws

October 16, 2025

papers.authors: Kyle Montgomery, David Park, Jianhong Tu, Michael Bendersky, Beliz Gunel, Dawn Song, Chenguang Wang

cs.AI

papers.abstract

Les lois d'échelle ont transformé notre compréhension des grands modèles de langage en établissant des liens entre des métriques amont, comme la perte d'entropie croisée, et des facteurs de conception tels que la taille du modèle, les données d'entrainement et la puissance de calcul. Cependant, ces lois conventionnelles ne parviennent pas à capturer la performance en aval, où le contexte joue un rôle critique. Dans ce travail, nous proposons un cadre simple et interprétable qui modélise conjointement la performance en aval en fonction de la puissance de calcul d'entrainement et du contexte fourni. Nous validons empiriquement notre cadre en l'ajustant sur les performances observées en aval des variantes à contexte étendu de Llama-2-7B et Llama-2-13B, sur 65 500 instances uniques couvrant trois tâches : le raisonnement arithmétique, le raisonnement de bon sens et la traduction automatique. Nos résultats démontrent que notre cadre modélise avec précision la performance en aval dans la distribution, généralise sur trois ordres de grandeur en puissance de calcul d'entrainement, et extrapole de manière fiable la performance à mesure que la quantité de contexte augmente. Ces résultats offrent des insights précieux sur l'interaction entre la puissance de calcul d'entrainement et l'utilisation du contexte, fournissant des orientations pour concevoir des LLMs à long contexte plus efficaces pour diverses tâches en aval. Notre code est disponible à l'adresse https://github.com/wang-research-lab/context-scaling.

English

Scaling laws have transformed our understanding of large language models by linking upstream metrics like cross-entropy loss to design factors such as model size, training data, and compute. However, these conventional laws fail to capture downstream task performance, where context plays a critical role. In this work, we propose a straightforward, interpretable framework that jointly models downstream performance as a function of the training compute and the provided context. We empirically validate our framework by fitting it on the observed downstream performance of extended-context variants of Llama-2-7B and Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic reasoning, common sense reasoning, and machine translation. Our results demonstrate that our framework accurately models in-distribution downstream performance, generalizes across three orders of magnitude in training compute, and reliably extrapolates performance as the amount of context increases. These findings offer valuable insights into the interplay between training compute and context utilization, providing guidance for designing more efficient long-context LLMs for diverse downstream tasks. Our code is available at https://github.com/wang-research-lab/context-scaling.