Skalierungsgesetze und Modellarchitektur: Auf dem Weg zu inferenzeffizienten LLMs

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

October 21, 2025

papers.authors: Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

cs.AI

papers.abstract

Die Skalierung der Parameteranzahl und der Größe der Trainingsdaten hat sich als wirksame Strategie zur Verbesserung der Leistung großer Sprachmodelle (LLMs) erwiesen. Da diese Modelle jedoch zunehmend leistungsfähiger und weitläufiger eingesetzt werden, sind die Inferenzkosten zu einem dringenden Problem geworden. Trotz ihrer Bedeutung ist der Kompromiss zwischen Modellgenauigkeit und Inferenzeffizienz nach wie vor unzureichend erforscht. In dieser Arbeit untersuchen wir, wie zentrale architektonische Faktoren – die Hidden Size, die Aufteilung der Parameter zwischen MLP und Attention (MLP-zu-Attention-Verhältnis) sowie Grouped-Query-Attention (GQA) – sowohl die Inferenzkosten als auch die Genauigkeit beeinflussen. Wir stellen ein bedingtes Skalierungsgesetz vor, das den Chinchilla-Rahmen um architektonische Informationen erweitert, sowie einen Suchrahmen zur Identifizierung von Architekturen, die gleichzeitig inferenzeffizient und genau sind. Um unseren Ansatz zu validieren, trainieren wir mehr als 200 Modelle mit Parametergrößen von 80M bis 3B und Trainings-Tokens von 8B bis 100B und passen das vorgeschlagene bedingte Skalierungsgesetz an. Unsere Ergebnisse zeigen, dass das bedingte Skalierungsgesetz zuverlässig optimale Architekturentscheidungen vorhersagt und dass die resultierenden Modelle bestehende Open-Source-Baselines übertreffen. Unter dem gleichen Trainingsbudget erreichen optimierte Architekturen im Vergleich zu LLaMA-3.2 eine bis zu 2,1 % höhere Genauigkeit und einen bis zu 42 % höheren Inferenzdurchsatz.

English

Scaling the number of parameters and the size of training data has proven to be an effective strategy for improving large language model (LLM) performance. Yet, as these models grow increasingly powerful and widely deployed, the cost of inference has become a pressing concern. Despite its importance, the trade-off between model accuracy and inference efficiency remains underexplored. In this work, we examine how key architectural factors, hidden size, the allocation of parameters between MLP and attention (mlp-to-attention ratio), and grouped-query attention (GQA), influence both inference cost and accuracy. We introduce a conditional scaling law that augments the Chinchilla framework with architectural information, along with a search framework for identifying architectures that are simultaneously inference-efficient and accurate. To validate our approach, we train more than 200 models spanning 80M to 3B parameters and 8B to 100B training tokens, and fit the proposed conditional scaling law. Our results show that the conditional scaling law reliably predicts optimal architectural choices and that the resulting models outperform existing open-source baselines. Under the same training budget, optimized architectures achieve up to 2.1% higher accuracy and 42% greater inference throughput compared to LLaMA-3.2.