Pulo Adaptativo de Camadas em LLMs Pré-treinados

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Autores: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Resumo

Diversos métodos de salto de camadas foram propostos para acelerar a geração de tokens em modelos de linguagem de grande escala (LLMs). No entanto, eles negligenciaram uma questão fundamental: Como as demandas computacionais variam ao longo da geração de diferentes tokens? Neste trabalho, apresentamos o FlexiDepth, um método que ajusta dinamicamente o número de camadas do Transformer utilizadas na geração de texto. Ao incorporar um roteador e um adaptador plug-in, o FlexiDepth permite o salto adaptativo de camadas em LLMs sem modificar seus parâmetros originais. A introdução do FlexiDepth ao modelo Llama-3-8B resultou no salto de 8 camadas de um total de 32, mantendo ao mesmo tempo o desempenho integral de 100% nos benchmarks. Os resultados experimentais com o FlexiDepth demonstram que as demandas computacionais em LLMs variam significativamente com base no tipo de token. Especificamente, a geração de tokens repetitivos ou frases fixas requer menos camadas, enquanto a produção de tokens que envolvem computação ou alta incerteza exige mais camadas. Curiosamente, esse padrão de alocação adaptativa está alinhado com a intuição humana. Para avançar a pesquisa nessa área, disponibilizamos o código-fonte do FlexiDepth e um conjunto de dados que documenta os padrões de alocação de camadas do FlexiDepth para exploração futura.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.