Adaptives Layer-Überspringen in vortrainierten LLMs

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Autoren: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Zusammenfassung

Verschiedene Methoden zum Überspringen von Schichten wurden vorgeschlagen, um die Token-Generierung in großen Sprachmodellen (LLMs) zu beschleunigen. Dabei wurde jedoch eine grundlegende Frage übersehen: Wie variiert der Rechenaufwand bei der Generierung verschiedener Tokens? In dieser Arbeit stellen wir FlexiDepth vor, eine Methode, die die Anzahl der Transformer-Schichten bei der Textgenerierung dynamisch anpasst. Durch die Integration eines Plug-in-Routers und Adapters ermöglicht FlexiDepth ein adaptives Überspringen von Schichten in LLMs, ohne deren ursprüngliche Parameter zu verändern. Die Einführung von FlexiDepth in das Llama-3-8B-Modell erreicht ein Überspringen von 8 Schichten aus 32, während gleichzeitig die volle Benchmark-Leistung von 100 % erhalten bleibt. Experimentelle Ergebnisse mit FlexiDepth zeigen, dass der Rechenaufwand in LLMs erheblich vom Tokentyp abhängt. Insbesondere erfordert die Generierung repetitiver Tokens oder fester Phrasen weniger Schichten, während die Erzeugung von Tokens, die Berechnungen oder hohe Unsicherheit beinhalten, mehr Schichten benötigt. Interessanterweise entspricht dieses adaptive Zuweisungsmuster der menschlichen Intuition. Um die Forschung in diesem Bereich voranzutreiben, haben wir FlexiDepth sowie einen Datensatz, der die Schichtzuweisungsmuster von FlexiDepth dokumentiert, quelloffen zur Verfügung gestellt, um zukünftige Untersuchungen zu ermöglichen.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.