Schaalwetten en Modelarchitectuur: Op Weg Naar Inference-Efficiënte LLM's

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

October 21, 2025

Auteurs: Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

cs.AI

Samenvatting

Het schalen van het aantal parameters en de omvang van de trainingsdata is een effectieve strategie gebleken om de prestaties van grote taalmmodellen (LLM's) te verbeteren. Naarmate deze modellen echter krachtiger en breder ingezet worden, zijn de kosten voor inferentie een urgent probleem geworden. Ondanks het belang ervan, blijft de afweging tussen modelnauwkeurigheid en inferentie-efficiëntie onderbelicht. In dit werk onderzoeken we hoe belangrijke architectuurfactoren – de grootte van de verborgen lagen, de verdeling van parameters tussen MLP en attention (de mlp-to-attention-ratio) en grouped-query attention (GQA) – zowel de inferentiekosten als de nauwkeurigheid beïnvloeden. We introduceren een voorwaardelijke schaalwet die het Chinchilla-framework uitbreidt met architectuurinformatie, samen met een zoekraamwerk om architecturen te identificeren die gelijktijdig inference-efficiënt en nauwkeurig zijn. Om onze aanpak te valideren, trainen we meer dan 200 modellen variërend van 80M tot 3B parameters en 8B tot 100B trainingstokens, en fitten we de voorgestelde voorwaardelijke schaalwet. Onze resultaten tonen aan dat de voorwaardelijke schaalwet betrouwbaar optimale architectuurkeuzes voorspelt en dat de resulterende modellen bestaande open-source-baselines overtreffen. Onder hetzelfde trainingsbudget behalen geoptimaliseerde architecturen tot 2,1% hogere nauwkeurigheid en 42% grotere inferentie-doorvoer in vergelijking met LLaMA-3.2.

English

Scaling the number of parameters and the size of training data has proven to be an effective strategy for improving large language model (LLM) performance. Yet, as these models grow increasingly powerful and widely deployed, the cost of inference has become a pressing concern. Despite its importance, the trade-off between model accuracy and inference efficiency remains underexplored. In this work, we examine how key architectural factors, hidden size, the allocation of parameters between MLP and attention (mlp-to-attention ratio), and grouped-query attention (GQA), influence both inference cost and accuracy. We introduce a conditional scaling law that augments the Chinchilla framework with architectural information, along with a search framework for identifying architectures that are simultaneously inference-efficient and accurate. To validate our approach, we train more than 200 models spanning 80M to 3B parameters and 8B to 100B training tokens, and fit the proposed conditional scaling law. Our results show that the conditional scaling law reliably predicts optimal architectural choices and that the resulting models outperform existing open-source baselines. Under the same training budget, optimized architectures achieve up to 2.1% higher accuracy and 42% greater inference throughput compared to LLaMA-3.2.