Espansioni componibili che preservano le funzioni per le architetture Transformer

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Autori: Andrea Gesmundo, Kaitlin Maile

cs.AI

Abstract

L'addestramento di reti neurali all'avanguardia richiede un costo elevato in termini di calcolo e tempo. La scala del modello è riconosciuta come un fattore critico per raggiungere e migliorare lo stato dell'arte. Aumentare la scala di una rete neurale normalmente richiede di ricominciare da zero inizializzando casualmente tutti i parametri del modello, poiché ciò implica un cambiamento dei parametri dell'architettura che non consente un trasferimento diretto della conoscenza da modelli di dimensioni più ridotte. In questo lavoro, proponiamo sei trasformazioni componibili per aumentare gradualmente le dimensioni delle reti neurali basate su transformer preservandone la funzionalità, consentendo di espandere la capacità del modello secondo necessità. Forniamo una prova di preservazione esatta della funzione sotto vincoli di inizializzazione minimi per ciascuna trasformazione. I metodi proposti possono abilitare pipeline di addestramento efficienti per modelli più grandi e potenti espandendo progressivamente l'architettura durante l'addestramento.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.