Expansões Composáveis que Preservam Funções para Arquiteturas Transformer

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Autores: Andrea Gesmundo, Kaitlin Maile

cs.AI

Resumo

O treinamento de redes neurais de última geração exige um alto custo em termos de computação e tempo. A escala do modelo é reconhecida como um fator crítico para alcançar e melhorar o estado da arte. Aumentar a escala de uma rede neural normalmente requer reiniciar do zero, inicializando aleatoriamente todos os parâmetros do modelo, pois isso implica uma mudança nos parâmetros da arquitetura que não permite uma transferência direta de conhecimento de modelos menores. Neste trabalho, propomos seis transformações combináveis para aumentar incrementalmente o tamanho de redes neurais baseadas em transformadores, preservando a funcionalidade e permitindo expandir a capacidade do modelo conforme necessário. Fornecemos provas de preservação exata da função sob restrições mínimas de inicialização para cada transformação. Os métodos propostos podem permitir pipelines de treinamento eficientes para modelos maiores e mais poderosos, expandindo progressivamente a arquitetura ao longo do treinamento.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.