Масштабируемые GAN с использованием трансформаторов

Scalable GANs with Transformers

September 29, 2025

Авторы: Sangeek Hyun, MinKyu Lee, Jae-Pil Heo

cs.AI

Аннотация

Масштабируемость стала движущей силой последних достижений в области генеративного моделирования, однако её принципы остаются недостаточно изученными для задач обучения с использованием состязательных подходов. Мы исследуем масштабируемость генеративно-состязательных сетей (GAN) с помощью двух проектных решений, которые доказали свою эффективность в других типах генеративных моделей: обучение в компактном латентном пространстве вариационных автоэнкодеров (VAE) и использование исключительно трансформерных генераторов и дискриминаторов. Обучение в латентном пространстве обеспечивает эффективные вычисления при сохранении перцептивного качества, а эта эффективность естественным образом сочетается с простыми трансформерами, производительность которых масштабируется с увеличением вычислительных ресурсов. Опираясь на эти решения, мы анализируем проблемы, возникающие при наивном масштабировании GAN. В частности, мы выявляем такие проблемы, как недостаточное использование ранних слоёв генератора и нестабильность оптимизации при увеличении масштаба сети. В связи с этим мы предлагаем простые и масштабируемые решения, такие как лёгкое промежуточное управление и адаптация скорости обучения с учётом ширины сети. Наши эксперименты показывают, что GAT — GAN, основанная исключительно на трансформерах и работающая в латентном пространстве, — может быть легко и надёжно обучена в широком диапазоне ёмкостей (от S до XL). Более того, GAT-XL/2 достигает наилучших результатов в одношаговой генерации с условием на класс (FID 2.96) на наборе данных ImageNet-256 всего за 40 эпох, что в 6 раз меньше, чем у сильных базовых моделей.

English

Scalability has driven recent advances in generative modeling, yet its principles remain underexplored for adversarial learning. We investigate the scalability of Generative Adversarial Networks (GANs) through two design choices that have proven to be effective in other types of generative models: training in a compact Variational Autoencoder latent space and adopting purely transformer-based generators and discriminators. Training in latent space enables efficient computation while preserving perceptual fidelity, and this efficiency pairs naturally with plain transformers, whose performance scales with computational budget. Building on these choices, we analyze failure modes that emerge when naively scaling GANs. Specifically, we find issues as underutilization of early layers in the generator and optimization instability as the network scales. Accordingly, we provide simple and scale-friendly solutions as lightweight intermediate supervision and width-aware learning-rate adjustment. Our experiments show that GAT, a purely transformer-based and latent-space GANs, can be easily trained reliably across a wide range of capacities (S through XL). Moreover, GAT-XL/2 achieves state-of-the-art single-step, class-conditional generation performance (FID of 2.96) on ImageNet-256 in just 40 epochs, 6x fewer epochs than strong baselines.