Composeerbare functiebehoudende uitbreidingen voor Transformer-architecturen

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Auteurs: Andrea Gesmundo, Kaitlin Maile

cs.AI

Samenvatting

Het trainen van state-of-the-art neurale netwerken vereist een hoge kost in termen van rekenkracht en tijd. De schaal van het model wordt erkend als een kritieke factor om de state-of-the-art te bereiken en te verbeteren. Het vergroten van de schaal van een neuraal netwerk vereist normaal gesproken een herstart vanaf nul door alle parameters van het model willekeurig te initialiseren, aangezien dit een wijziging van de architectuurparameters impliceert die geen eenvoudige overdracht van kennis van kleinere modellen mogelijk maakt. In dit werk stellen we zes samenstelbare transformaties voor om de grootte van transformer-gebaseerde neurale netwerken stapsgewijs te vergroten terwijl de functionaliteit behouden blijft, waardoor de capaciteit van het model naar behoefte kan worden uitgebreid. We leveren bewijs van exacte functiebehoud onder minimale initialisatiebeperkingen voor elke transformatie. De voorgestelde methoden kunnen efficiënte trainingspijplijnen mogelijk maken voor grotere en krachtigere modellen door de architectuur gedurende de training progressief uit te breiden.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.