Leis de Escala Encontram a Arquitetura de Modelos: Rumo a LLMs com Inferência Eficiente

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

October 21, 2025

Autores: Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

cs.AI

Resumo

Aumentar o número de parâmetros e o tamanho dos dados de treinamento provou ser uma estratégia eficaz para melhorar o desempenho de grandes modelos de linguagem (LLMs). No entanto, à medida que esses modelos se tornam cada vez mais poderosos e amplamente implantados, o custo da inferência tornou-se uma preocupação premente. Apesar de sua importância, a relação de compromisso entre a precisão do modelo e a eficiência da inferência permanece pouco explorada. Neste trabalho, examinamos como fatores arquiteturais-chave — tamanho da camada oculta, a alocação de parâmetros entre MLP e atenção (proporção mlp-para-atenção) e a atenção por consulta agrupada (GQA) — influenciam tanto o custo de inferência quanto a precisão. Introduzimos uma lei de escalonamento condicional que amplia o framework Chinchilla com informações arquiteturais, juntamente com um framework de busca para identificar arquiteturas que são simultaneamente eficientes em inferência e precisas. Para validar nossa abordagem, treinamos mais de 200 modelos, variando de 80M a 3B de parâmetros e de 8B a 100B de tokens de treinamento, e ajustamos a proposta lei de escalonamento condicional. Nossos resultados mostram que a lei de escalonamento condicional prevê de forma confiável as escolhas arquiteturais ótimas e que os modelos resultantes superam as linhas de base de código aberto existentes. Sob o mesmo orçamento de treinamento, as arquiteturas otimizadas alcançam até 2,1% maior precisão e 42% maior taxa de transferência de inferência em comparação com o LLaMA-3.2.

English

Scaling the number of parameters and the size of training data has proven to be an effective strategy for improving large language model (LLM) performance. Yet, as these models grow increasingly powerful and widely deployed, the cost of inference has become a pressing concern. Despite its importance, the trade-off between model accuracy and inference efficiency remains underexplored. In this work, we examine how key architectural factors, hidden size, the allocation of parameters between MLP and attention (mlp-to-attention ratio), and grouped-query attention (GQA), influence both inference cost and accuracy. We introduce a conditional scaling law that augments the Chinchilla framework with architectural information, along with a search framework for identifying architectures that are simultaneously inference-efficient and accurate. To validate our approach, we train more than 200 models spanning 80M to 3B parameters and 8B to 100B training tokens, and fit the proposed conditional scaling law. Our results show that the conditional scaling law reliably predicts optimal architectural choices and that the resulting models outperform existing open-source baselines. Under the same training budget, optimized architectures achieve up to 2.1% higher accuracy and 42% greater inference throughput compared to LLaMA-3.2.