Prevendo o Desempenho de Tarefas com Leis de Escalonamento Sensíveis ao Contexto

Resumo

As leis de escala transformaram nossa compreensão dos grandes modelos de linguagem ao vincular métricas iniciais, como a perda de entropia cruzada, a fatores de design como tamanho do modelo, dados de treinamento e capacidade computacional. No entanto, essas leis convencionais não conseguem capturar o desempenho em tarefas subsequentes, onde o contexto desempenha um papel crítico. Neste trabalho, propomos uma estrutura simples e interpretável que modela conjuntamente o desempenho subsequente como uma função do poder computacional de treinamento e do contexto fornecido. Validamos empiricamente nossa estrutura ao ajustá-la ao desempenho observado em tarefas subsequentes de variantes de contexto estendido dos modelos Llama-2-7B e Llama-2-13B, abrangendo 65.500 instâncias únicas em três tarefas: raciocínio aritmético, raciocínio de senso comum e tradução automática. Nossos resultados demonstram que nossa estrutura modela com precisão o desempenho subsequente dentro da distribuição, generaliza-se em três ordens de magnitude de poder computacional de treinamento e extrapola de forma confiável o desempenho à medida que a quantidade de contexto aumenta. Essas descobertas oferecem insights valiosos sobre a interação entre o poder computacional de treinamento e a utilização do contexto, fornecendo orientações para projetar LLMs de contexto longo mais eficientes para diversas tarefas subsequentes. Nosso código está disponível em https://github.com/wang-research-lab/context-scaling.

English

Scaling laws have transformed our understanding of large language models by linking upstream metrics like cross-entropy loss to design factors such as model size, training data, and compute. However, these conventional laws fail to capture downstream task performance, where context plays a critical role. In this work, we propose a straightforward, interpretable framework that jointly models downstream performance as a function of the training compute and the provided context. We empirically validate our framework by fitting it on the observed downstream performance of extended-context variants of Llama-2-7B and Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic reasoning, common sense reasoning, and machine translation. Our results demonstrate that our framework accurately models in-distribution downstream performance, generalizes across three orders of magnitude in training compute, and reliably extrapolates performance as the amount of context increases. These findings offer valuable insights into the interplay between training compute and context utilization, providing guidance for designing more efficient long-context LLMs for diverse downstream tasks. Our code is available at https://github.com/wang-research-lab/context-scaling.

Prevendo o Desempenho de Tarefas com Leis de Escalonamento Sensíveis ao Contexto

Predicting Task Performance with Context-aware Scaling Laws

Resumo

Support