Трансформеры без нормализации

Transformers without Normalization

March 13, 2025

Авторы: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Аннотация

Слои нормализации повсеместно используются в современных нейронных сетях и долгое время считались незаменимыми. В данной работе демонстрируется, что трансформеры без нормализации могут достичь такой же или даже лучшей производительности с помощью удивительно простого метода. Мы представляем Dynamic Tanh (DyT) — поэлементную операцию DyT(x) = tanh(alpha x), которая может заменить слои нормализации в трансформерах. DyT вдохновлен наблюдением, что нормализация слоев в трансформерах часто создает S-образные зависимости между входом и выходом, напоминающие функцию tanh. Благодаря использованию DyT, трансформеры без нормализации могут соответствовать или превосходить производительность своих нормализованных аналогов, в большинстве случаев без необходимости настройки гиперпараметров. Мы подтверждаем эффективность трансформеров с DyT в различных задачах, начиная от распознавания и генерации, до обучения с учителем и самообучения, а также в моделях компьютерного зрения и обработки естественного языка. Эти результаты ставят под сомнение традиционное представление о том, что слои нормализации являются обязательными в современных нейронных сетях, и предлагают новые взгляды на их роль в глубоких сетях.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.