Прогнозирование производительности задач с использованием контекстно-зависимых законов масштабирования
Predicting Task Performance with Context-aware Scaling Laws
October 16, 2025
Авторы: Kyle Montgomery, David Park, Jianhong Tu, Michael Bendersky, Beliz Gunel, Dawn Song, Chenguang Wang
cs.AI
Аннотация
Законы масштабирования изменили наше понимание больших языковых моделей, связав такие метрики, как кросс-энтропийные потери, с факторами проектирования, такими как размер модели, объем обучающих данных и вычислительные ресурсы. Однако эти традиционные законы не учитывают производительность на конечных задачах, где контекст играет критическую роль. В данной работе мы предлагаем простую и интерпретируемую структуру, которая совместно моделирует производительность на конечных задачах как функцию вычислительных ресурсов, затраченных на обучение, и предоставленного контекста. Мы эмпирически подтверждаем нашу структуру, аппроксимируя ее на наблюдаемой производительности расширенных контекстных вариантов моделей Llama-2-7B и Llama-2-13B на 65 500 уникальных примерах, охватывающих три задачи: арифметическое рассуждение, рассуждение на основе здравого смысла и машинный перевод. Наши результаты показывают, что предложенная структура точно моделирует производительность на конечных задачах в рамках распределения данных, обобщает результаты на три порядка величины вычислительных ресурсов и надежно экстраполирует производительность с увеличением объема контекста. Эти результаты дают ценные инсайты во взаимодействие между вычислительными ресурсами, затраченными на обучение, и использованием контекста, предоставляя рекомендации для проектирования более эффективных языковых моделей с длинным контекстом для различных конечных задач. Наш код доступен по адресу https://github.com/wang-research-lab/context-scaling.
English
Scaling laws have transformed our understanding of large language models by
linking upstream metrics like cross-entropy loss to design factors such as
model size, training data, and compute. However, these conventional laws fail
to capture downstream task performance, where context plays a critical role. In
this work, we propose a straightforward, interpretable framework that jointly
models downstream performance as a function of the training compute and the
provided context. We empirically validate our framework by fitting it on the
observed downstream performance of extended-context variants of Llama-2-7B and
Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic
reasoning, common sense reasoning, and machine translation. Our results
demonstrate that our framework accurately models in-distribution downstream
performance, generalizes across three orders of magnitude in training compute,
and reliably extrapolates performance as the amount of context increases. These
findings offer valuable insights into the interplay between training compute
and context utilization, providing guidance for designing more efficient
long-context LLMs for diverse downstream tasks. Our code is available at
https://github.com/wang-research-lab/context-scaling.