Komponierbare funktionserhaltende Erweiterungen für Transformer-Architekturen

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Autoren: Andrea Gesmundo, Kaitlin Maile

cs.AI

Zusammenfassung

Das Training von modernsten neuronalen Netzen erfordert einen hohen Aufwand in Bezug auf Rechenleistung und Zeit. Es ist anerkannt, dass die Skalierung des Modells ein entscheidender Faktor ist, um den Stand der Technik zu erreichen und zu verbessern. Die Vergrößerung der Skalierung eines neuronalen Netzes erfordert normalerweise einen Neustart von Grund auf, indem alle Parameter des Modells zufällig initialisiert werden, da dies eine Änderung der Architekturparameter impliziert, die einen direkten Wissenstransfer von kleineren Modellen nicht zulässt. In dieser Arbeit schlagen wir sechs kombinierbare Transformationen vor, um die Größe von Transformer-basierten neuronalen Netzen schrittweise zu erhöhen, während die Funktionalität erhalten bleibt. Dies ermöglicht es, die Kapazität des Modells nach Bedarf zu erweitern. Wir liefern den Nachweis der exakten Funktionserhaltung unter minimalen Initialisierungsbedingungen für jede Transformation. Die vorgeschlagenen Methoden könnten effiziente Trainingspipeline für größere und leistungsfähigere Modelle ermöglichen, indem die Architektur während des Trainings progressiv erweitert wird.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.