Adaptieve Laagoverslaan in Vooraf Getrainde LLM's

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Auteurs: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Samenvatting

Er zijn verschillende laagoverslaande methoden voorgesteld om de token-generatie in grote taalmodellen (LLMs) te versnellen. Deze methoden hebben echter een fundamentele vraag over het hoofd gezien: Hoe variëren de rekenkundige eisen tijdens de generatie van verschillende tokens? In dit werk introduceren we FlexiDepth, een methode die het aantal Transformer-lagen dat wordt gebruikt in tekstgeneratie dynamisch aanpast. Door het integreren van een plug-in router en adapter maakt FlexiDepth adaptieve laagoverslaan mogelijk in LLMs zonder de oorspronkelijke parameters te wijzigen. Het introduceren van FlexiDepth in het Llama-3-8B-model resulteert in het overslaan van 8 lagen uit 32, terwijl het volledige 100\% benchmarkprestaties behoudt. Experimentele resultaten met FlexiDepth tonen aan dat de rekenkundige eisen in LLMs aanzienlijk variëren op basis van het tokentype. Specifiek vereist het genereren van repetitieve tokens of vaste zinnen minder lagen, terwijl het produceren van tokens die rekenkundige verwerking of hoge onzekerheid met zich meebrengen meer lagen vereist. Interessant genoeg sluit dit adaptieve toewijzingspatroon aan bij menselijke intuïtie. Om onderzoek op dit gebied te bevorderen, hebben we FlexiDepth en een dataset die de laagtoewijzingspatronen van FlexiDepth documenteert open source gemaakt voor toekomstige verkenning.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.