Законы масштабирования и архитектура моделей: на пути к энергоэффективным большим языковым моделям

Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

October 21, 2025

Авторы: Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

cs.AI

Аннотация

Увеличение количества параметров и объема обучающих данных доказало свою эффективность как стратегия повышения производительности больших языковых моделей (LLM). Однако по мере того, как эти модели становятся все более мощными и широко внедряются, стоимость инференса превратилась в актуальную проблему. Несмотря на свою важность, компромисс между точностью модели и эффективностью инференса остается недостаточно изученным. В данной работе мы исследуем, как ключевые архитектурные факторы — размер скрытого слоя, распределение параметров между MLP и механизмом внимания (соотношение mlp-to-attention) и групповое внимание запросов (GQA) — влияют как на стоимость инференса, так и на точность. Мы представляем условный закон масштабирования, который дополняет фреймворк Chinchilla архитектурной информацией, а также фреймворк поиска для идентификации архитектур, одновременно эффективных для инференса и точных. Для проверки нашего подхода мы обучили более 200 моделей в диапазоне от 80 млн до 3 млрд параметров и от 8 млрд до 100 млрд токенов обучения и аппроксимировали предложенный условный закон масштабирования. Наши результаты показывают, что условный закон масштабирования надежно предсказывает оптимальные архитектурные выборы и что полученные модели превосходят существующие открытые базовые линии. При одинаковом бюджете на обучение оптимизированные архитектуры достигают до 2.1% более высокой точности и до 42% большей пропускной способности инференса по сравнению с LLaMA-3.2.

English

Scaling the number of parameters and the size of training data has proven to be an effective strategy for improving large language model (LLM) performance. Yet, as these models grow increasingly powerful and widely deployed, the cost of inference has become a pressing concern. Despite its importance, the trade-off between model accuracy and inference efficiency remains underexplored. In this work, we examine how key architectural factors, hidden size, the allocation of parameters between MLP and attention (mlp-to-attention ratio), and grouped-query attention (GQA), influence both inference cost and accuracy. We introduce a conditional scaling law that augments the Chinchilla framework with architectural information, along with a search framework for identifying architectures that are simultaneously inference-efficient and accurate. To validate our approach, we train more than 200 models spanning 80M to 3B parameters and 8B to 100B training tokens, and fit the proposed conditional scaling law. Our results show that the conditional scaling law reliably predicts optimal architectural choices and that the resulting models outperform existing open-source baselines. Under the same training budget, optimized architectures achieve up to 2.1% higher accuracy and 42% greater inference throughput compared to LLaMA-3.2.