Leggi di Scaling e Architettura dei Modelli: Verso LLM Efficienti nell'Inferenza

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

October 21, 2025

Autori: Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

cs.AI

Abstract

L'aumento del numero di parametri e della dimensione dei dati di addestramento si è rivelato una strategia efficace per migliorare le prestazioni dei grandi modelli linguistici (LLM). Tuttavia, man mano che questi modelli diventano sempre più potenti e ampiamente distribuiti, il costo dell'inferenza è diventato un problema pressante. Nonostante la sua importanza, il compromesso tra accuratezza del modello ed efficienza inferenziale rimane poco esplorato. In questo lavoro, esaminiamo come fattori architetturali chiave – la dimensione dello strato nascosto, l'allocazione dei parametri tra MLP e attenzione (rapporto mlp-to-attention) e l'attenzione a query raggruppate (GQA) – influenzino sia il costo dell'inferenza che l'accuratezza. Introduciamo una legge di scaling condizionale che arricchisce il framework di Chinchilla con informazioni architetturali, insieme a un framework di ricerca per identificare architetture simultaneamente efficienti per l'inferenza e accurate. Per validare il nostro approccio, addestriamo più di 200 modelli che spaziano da 80M a 3B di parametri e da 8B a 100B di token di addestramento, e adattiamo la proposta legge di scaling condizionale. I nostri risultati mostrano che la legge di scaling condizionale predice in modo affidabile le scelte architetturali ottimali e che i modelli risultanti superano i baseline open-source esistenti. A parità di budget di addestramento, le architetture ottimizzate raggiungono un'accuratezza fino al 2,1% superiore e una velocità di inferenza del 42% maggiore rispetto a LLaMA-3.2.

English

Scaling the number of parameters and the size of training data has proven to be an effective strategy for improving large language model (LLM) performance. Yet, as these models grow increasingly powerful and widely deployed, the cost of inference has become a pressing concern. Despite its importance, the trade-off between model accuracy and inference efficiency remains underexplored. In this work, we examine how key architectural factors, hidden size, the allocation of parameters between MLP and attention (mlp-to-attention ratio), and grouped-query attention (GQA), influence both inference cost and accuracy. We introduce a conditional scaling law that augments the Chinchilla framework with architectural information, along with a search framework for identifying architectures that are simultaneously inference-efficient and accurate. To validate our approach, we train more than 200 models spanning 80M to 3B parameters and 8B to 100B training tokens, and fit the proposed conditional scaling law. Our results show that the conditional scaling law reliably predicts optimal architectural choices and that the resulting models outperform existing open-source baselines. Under the same training budget, optimized architectures achieve up to 2.1% higher accuracy and 42% greater inference throughput compared to LLaMA-3.2.