Expansiones Composables que Preservan la Función para Arquitecturas Transformer

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Autores: Andrea Gesmundo, Kaitlin Maile

cs.AI

Resumen

Entrenar redes neuronales de última generación conlleva un alto costo en términos de computación y tiempo. Se reconoce que la escala del modelo es un factor crítico para alcanzar y mejorar el estado del arte. Aumentar la escala de una red neuronal normalmente requiere comenzar desde cero, inicializando aleatoriamente todos los parámetros del modelo, ya que esto implica un cambio en los parámetros de la arquitectura que no permite una transferencia directa de conocimiento desde modelos de menor tamaño. En este trabajo, proponemos seis transformaciones componibles para incrementar gradualmente el tamaño de redes neuronales basadas en transformadores mientras se preserva su funcionalidad, permitiendo expandir la capacidad del modelo según sea necesario. Proporcionamos pruebas de preservación exacta de la función bajo restricciones mínimas de inicialización para cada transformación. Los métodos propuestos podrían habilitar flujos de entrenamiento eficientes para modelos más grandes y potentes al expandir progresivamente la arquitectura durante el entrenamiento.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.