GAN scalabili con Transformer

Abstract

La scalabilità ha guidato i recenti progressi nella modellazione generativa, ma i suoi principi rimangono poco esplorati nell'apprendimento avversario. Investigiamo la scalabilità delle Generative Adversarial Networks (GANs) attraverso due scelte progettuali che si sono dimostrate efficaci in altri tipi di modelli generativi: l'addestramento in uno spazio latente compatto di un Variational Autoencoder e l'adozione di generatori e discriminatori basati esclusivamente su trasformatori. L'addestramento nello spazio latente consente un calcolo efficiente preservando la fedeltà percettiva, e questa efficienza si combina naturalmente con i trasformatori semplici, le cui prestazioni scalano con il budget computazionale. Basandoci su queste scelte, analizziamo i modi di fallimento che emergono quando si scala ingenuamente le GANs. In particolare, riscontriamo problemi come il sottoutilizzo degli strati iniziali nel generatore e l'instabilità di ottimizzazione man mano che la rete scala. Di conseguenza, forniamo soluzioni semplici e adatte alla scala, come una supervisione intermedia leggera e un aggiustamento del tasso di apprendimento basato sulla larghezza. I nostri esperimenti mostrano che GAT, una GAN basata esclusivamente su trasformatori e operante nello spazio latente, può essere addestrata in modo affidabile e facile su un'ampia gamma di capacità (da S a XL). Inoltre, GAT-XL/2 raggiunge prestazioni all'avanguardia nella generazione condizionata a classe in un singolo passo (FID di 2.96) su ImageNet-256 in soli 40 epoche, 6 volte meno epoche rispetto ai forti baseline.

English

Scalability has driven recent advances in generative modeling, yet its principles remain underexplored for adversarial learning. We investigate the scalability of Generative Adversarial Networks (GANs) through two design choices that have proven to be effective in other types of generative models: training in a compact Variational Autoencoder latent space and adopting purely transformer-based generators and discriminators. Training in latent space enables efficient computation while preserving perceptual fidelity, and this efficiency pairs naturally with plain transformers, whose performance scales with computational budget. Building on these choices, we analyze failure modes that emerge when naively scaling GANs. Specifically, we find issues as underutilization of early layers in the generator and optimization instability as the network scales. Accordingly, we provide simple and scale-friendly solutions as lightweight intermediate supervision and width-aware learning-rate adjustment. Our experiments show that GAT, a purely transformer-based and latent-space GANs, can be easily trained reliably across a wide range of capacities (S through XL). Moreover, GAT-XL/2 achieves state-of-the-art single-step, class-conditional generation performance (FID of 2.96) on ImageNet-256 in just 40 epochs, 6x fewer epochs than strong baselines.

GAN scalabili con Transformer

Scalable GANs with Transformers

Abstract

Support