Адаптивное пропусканье слоев в предобученных больших языковых моделях

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Авторы: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Аннотация

Были предложены различные методы пропуска слоев для ускорения генерации токенов в больших языковых моделях (LLM). Однако они упускают из виду фундаментальный вопрос: как меняются вычислительные требования в процессе генерации различных токенов? В данной работе мы представляем FlexiDepth — метод, который динамически регулирует количество слоев Transformer, используемых при генерации текста. Благодаря внедрению подключаемого маршрутизатора и адаптера, FlexiDepth позволяет адаптивно пропускать слои в LLM без изменения их исходных параметров. Внедрение FlexiDepth в модель Llama-3-8B позволяет пропускать 8 слоев из 32, при этом сохраняя полную производительность на уровне 100% по эталонным тестам. Экспериментальные результаты с использованием FlexiDepth демонстрируют, что вычислительные требования в LLM значительно варьируются в зависимости от типа токена. В частности, генерация повторяющихся токенов или фиксированных фраз требует меньшего количества слоев, тогда как создание токенов, связанных с вычислениями или высокой неопределенностью, требует большего количества слоев. Интересно, что этот адаптивный паттерн распределения слоев соответствует человеческой интуиции. Для продвижения исследований в этой области мы открыли исходный код FlexiDepth и опубликовали набор данных, фиксирующий паттерны распределения слоев в FlexiDepth, для дальнейшего изучения.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.