EE-Tuning: Een Economische maar Schaalbare Oplossing voor het Afstemmen van Early-Exit Grote Taalmodellen

EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

February 1, 2024

Auteurs: Xuchen Pan, Yanxi Chen, Yaliang Li, Bolin Ding, Jingren Zhou

cs.AI

Samenvatting

Dit werk introduceert EE-Tuning, een lichtgewicht en economische oplossing voor het trainen/afstemmen van large language models (LLM's) met early-exit. In tegenstelling tot de gebruikelijke aanpak van volledige parameter pre-training, versterkt EE-Tuning elke vooraf getrainde (en mogelijk fijn afgestemde) standaard LLM met extra early-exit lagen die op een parameter-efficiënte manier worden afgestemd, wat aanzienlijk minder rekenkracht en trainingsdata vereist. Onze implementatie van EE-Tuning bereikt uitstekende trainings efficiëntie door uitgebreide prestatie optimalisaties, evenals schaalbaarheid dankzij de volledige compatibiliteit met 3D-parallelisme. Resultaten van systematische experimenten valideren de effectiviteit van EE-Tuning, waarbij wordt bevestigd dat effectieve early-exit LLM-inferentie kan worden bereikt met een beperkt trainingsbudget. In de hoop early-exit LLM's toegankelijk te maken voor de gemeenschap, hebben we de broncode van onze implementatie van EE-Tuning vrijgegeven op https://github.com/pan-x-c/EE-LLM.

English

This work introduces EE-Tuning, a lightweight and economical solution to training/tuning early-exit large language models (LLMs). In contrast to the common approach of full-parameter pre-training, EE-Tuning augments any pre-trained (and possibly fine-tuned) standard LLM with additional early-exit layers that are tuned in a parameter-efficient manner, which requires significantly less computational resources and training data. Our implementation of EE-Tuning achieves outstanding training efficiency via extensive performance optimizations, as well as scalability due to its full compatibility with 3D parallelism. Results of systematic experiments validate the efficacy of EE-Tuning, confirming that effective early-exit LLM inference can be achieved with a limited training budget. In hope of making early-exit LLMs accessible to the community, we release the source code of our implementation of EE-Tuning at https://github.com/pan-x-c/EE-LLM.