Более мощные трансформеры без нормализации
Stronger Normalization-Free Transformers
December 11, 2025
Авторы: Mingzhi Chen, Taiming Lu, Jiachen Zhu, Mingjie Sun, Zhuang Liu
cs.AI
Аннотация
Хотя нормализационные слои долгое время считались незаменимыми компонентами архитектур глубокого обучения, недавнее появление Dynamic Tanh (DyT) показало, что возможны альтернативы. Поточечная функция DyT ограничивает экстремальные значения для обеспечения стабильной сходимости и достигает производительности на уровне нормализации; данная работа ставит целью поиск функциональных конструкций, которые могут превзойти её. Мы сначала исследуем, как внутренние свойства поточечных функций влияют на обучение и производительность. Основываясь на этих выводах, мы проводим масштабный поиск более эффективного функционального дизайна. В ходе этого исследования мы представляем Derf(x) = erf(αx + s), где erf(x) — это масштабированная функция нормального интегрального распределения, и идентифицируем её как наиболее производительный дизайн. Derf превосходит LayerNorm, RMSNorm и DyT в широком спектре областей, включая компьютерное зрение (распознавание и генерация изображений), речевое представление и моделирование последовательностей ДНК. Наши результаты показывают, что прирост производительности Derf в значительной степени обусловлен улучшенной обобщающей способностью, а не более сильной аппроксимирующей способностью. Его простота и высокая производительность делают Derf практичным выбором для трансформерных архитектур без нормализации.
English
Although normalization layers have long been viewed as indispensable components of deep learning architectures, the recent introduction of Dynamic Tanh (DyT) has demonstrated that alternatives are possible. The point-wise function DyT constrains extreme values for stable convergence and reaches normalization-level performance; this work seeks further for function designs that can surpass it. We first study how the intrinsic properties of point-wise functions influence training and performance. Building on these findings, we conduct a large-scale search for a more effective function design. Through this exploration, we introduce Derf(x) = erf(αx + s), where erf(x) is the rescaled Gaussian cumulative distribution function, and identify it as the most performant design. Derf outperforms LayerNorm, RMSNorm, and DyT across a wide range of domains, including vision (image recognition and generation), speech representation, and DNA sequence modeling. Our findings suggest that the performance gains of Derf largely stem from its improved generalization rather than stronger fitting capacity. Its simplicity and stronger performance make Derf a practical choice for normalization-free Transformer architectures.