Композируемые расширения, сохраняющие функциональность для архитектур трансформаторов

Composable Function-preserving Expansions for Transformer Architectures

August 11, 2023

Авторы: Andrea Gesmundo, Kaitlin Maile

cs.AI

Аннотация

Обучение современных нейронных сетей требует значительных затрат вычислительных ресурсов и времени. Масштаб модели признан критическим фактором для достижения и улучшения современных результатов. Увеличение масштаба нейронной сети обычно требует перезапуска с нуля, включая случайную инициализацию всех параметров модели, так как это подразумевает изменение параметров архитектуры, что не позволяет напрямую переносить знания из моделей меньшего размера. В данной работе мы предлагаем шесть композиционных преобразований для постепенного увеличения размера трансформерных нейронных сетей с сохранением функциональности, что позволяет расширять возможности модели по мере необходимости. Мы предоставляем доказательства точного сохранения функции при минимальных ограничениях на инициализацию для каждого преобразования. Предложенные методы могут обеспечить эффективные конвейеры обучения для более крупных и мощных моделей за счёт постепенного расширения архитектуры в процессе обучения.

English

Training state-of-the-art neural networks requires a high cost in terms of compute and time. Model scale is recognized to be a critical factor to achieve and improve the state-of-the-art. Increasing the scale of a neural network normally requires restarting from scratch by randomly initializing all the parameters of the model, as this implies a change of architecture's parameters that does not allow for a straightforward transfer of knowledge from smaller size models. In this work, we propose six composable transformations to incrementally increase the size of transformer-based neural networks while preserving functionality, allowing to expand the capacity of the model as needed. We provide proof of exact function preservation under minimal initialization constraints for each transformation. The proposed methods may enable efficient training pipelines for larger and more powerful models by progressively expanding the architecture throughout training.