Predicción del Rendimiento en Tareas mediante Leyes de Escalado Sensibles al Contexto

Predicting Task Performance with Context-aware Scaling Laws

October 16, 2025

Autores: Kyle Montgomery, David Park, Jianhong Tu, Michael Bendersky, Beliz Gunel, Dawn Song, Chenguang Wang

cs.AI

Resumen

Las leyes de escalamiento han transformado nuestra comprensión de los modelos de lenguaje grandes al vincular métricas iniciales como la pérdida de entropía cruzada con factores de diseño como el tamaño del modelo, los datos de entrenamiento y el cómputo. Sin embargo, estas leyes convencionales no logran capturar el rendimiento en tareas posteriores, donde el contexto juega un papel crítico. En este trabajo, proponemos un marco sencillo e interpretable que modela conjuntamente el rendimiento posterior como una función del cómputo de entrenamiento y el contexto proporcionado. Validamos empíricamente nuestro marco ajustándolo al rendimiento observado en variantes de contexto extendido de Llama-2-7B y Llama-2-13B en 65,500 instancias únicas que abarcan tres tareas: razonamiento aritmético, razonamiento de sentido común y traducción automática. Nuestros resultados demuestran que nuestro marco modela con precisión el rendimiento posterior dentro de la distribución, generaliza a través de tres órdenes de magnitud en el cómputo de entrenamiento y extrapola de manera confiable el rendimiento a medida que aumenta la cantidad de contexto. Estos hallazgos ofrecen valiosas perspectivas sobre la interacción entre el cómputo de entrenamiento y la utilización del contexto, proporcionando orientación para diseñar modelos de lenguaje grandes de contexto largo más eficientes para diversas tareas posteriores. Nuestro código está disponible en https://github.com/wang-research-lab/context-scaling.

English

Scaling laws have transformed our understanding of large language models by linking upstream metrics like cross-entropy loss to design factors such as model size, training data, and compute. However, these conventional laws fail to capture downstream task performance, where context plays a critical role. In this work, we propose a straightforward, interpretable framework that jointly models downstream performance as a function of the training compute and the provided context. We empirically validate our framework by fitting it on the observed downstream performance of extended-context variants of Llama-2-7B and Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic reasoning, common sense reasoning, and machine translation. Our results demonstrate that our framework accurately models in-distribution downstream performance, generalizes across three orders of magnitude in training compute, and reliably extrapolates performance as the amount of context increases. These findings offer valuable insights into the interplay between training compute and context utilization, providing guidance for designing more efficient long-context LLMs for diverse downstream tasks. Our code is available at https://github.com/wang-research-lab/context-scaling.