Hypersferische Latente Variabelen Verbeteren Continue-Token Autoregressieve Generatie

Hyperspherical Latents Improve Continuous-Token Autoregressive Generation

September 29, 2025

Auteurs: Guolin Ke, Hui Xue

cs.AI

Samenvatting

Autoregressieve (AR) modellen zijn veelbelovend voor beeldgeneratie, maar continue-token AR-varianten blijven vaak achter bij latente diffusie- en maskergeneratiemodellen. Het kernprobleem is de heterogene variantie in VAE-latenten, die wordt versterkt tijdens AR-decodering, vooral onder classifier-free guidance (CFG), en kan leiden tot variantie-instorting. Wij stellen SphereAR voor om dit probleem aan te pakken. De kern van het ontwerp is om alle AR-invoer en -uitvoer — inclusief na CFG — te beperken tot een hypersfeer met vaste straal (constante ell_2-norm), waarbij gebruik wordt gemaakt van hypersferische VAEs. Onze theoretische analyse toont aan dat de hypersferische beperking de schaalcomponent (de primaire oorzaak van variantie-instorting) verwijdert, waardoor AR-decodering wordt gestabiliseerd. Empirisch gezien stelt SphereAR-H (943M) een nieuwe standaard voor AR-modellen bij beeldgeneratie op ImageNet, met een FID van 1,34. Zelfs op kleinere schaal bereikt SphereAR-L (479M) een FID van 1,54 en SphereAR-B (208M) een FID van 1,92, waarmee het vergelijkbare of grotere baselines zoals MAR-H (943M, 1,55) en VAR-d30 (2B, 1,92) evenaart of overtreft. Voor zover wij weten, is dit de eerste keer dat een pure next-token AR-beeldgenerator met rastervolgorde diffusie- en maskergeneratiemodellen overtreft bij vergelijkbare parameterschalen.

English

Autoregressive (AR) models are promising for image generation, yet continuous-token AR variants often trail latent diffusion and masked-generation models. The core issue is heterogeneous variance in VAE latents, which is amplified during AR decoding, especially under classifier-free guidance (CFG), and can cause variance collapse. We propose SphereAR to address this issue. Its core design is to constrain all AR inputs and outputs -- including after CFG -- to lie on a fixed-radius hypersphere (constant ell_2 norm), leveraging hyperspherical VAEs. Our theoretical analysis shows that hyperspherical constraint removes the scale component (the primary cause of variance collapse), thereby stabilizing AR decoding. Empirically, on ImageNet generation, SphereAR-H (943M) sets a new state of the art for AR models, achieving FID 1.34. Even at smaller scales, SphereAR-L (479M) reaches FID 1.54 and SphereAR-B (208M) reaches 1.92, matching or surpassing much larger baselines such as MAR-H (943M, 1.55) and VAR-d30 (2B, 1.92). To our knowledge, this is the first time a pure next-token AR image generator with raster order surpasses diffusion and masked-generation models at comparable parameter scales.