Salto Adaptativo de Capas en LLMs Preentrenados

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Autores: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Resumen

Se han propuesto varios métodos de salto de capas para acelerar la generación de tokens en modelos de lenguaje grandes (LLMs). Sin embargo, han pasado por alto una pregunta fundamental: ¿Cómo varían las demandas computacionales durante la generación de diferentes tokens? En este trabajo, presentamos FlexiDepth, un método que ajusta dinámicamente el número de capas de Transformer utilizadas en la generación de texto. Al incorporar un enrutador y un adaptador plug-in, FlexiDepth permite el salto adaptativo de capas en LLMs sin modificar sus parámetros originales. La introducción de FlexiDepth en el modelo Llama-3-8B logra un salto de 8 capas de 32, manteniendo al mismo tiempo el 100% del rendimiento en los benchmarks. Los resultados experimentales con FlexiDepth demuestran que las demandas computacionales en los LLMs varían significativamente según el tipo de token. Específicamente, generar tokens repetitivos o frases fijas requiere menos capas, mientras que producir tokens que involucran cálculo o alta incertidumbre requiere más capas. Curiosamente, este patrón de asignación adaptativa se alinea con la intuición humana. Para avanzar en la investigación en esta área, hemos liberado el código de FlexiDepth y un conjunto de datos que documenta los patrones de asignación de capas de FlexiDepth para futuras exploraciones.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.