Latentes Hiperesféricas Melhoram a Geração Autoregressiva de Tokens Contínuos

Hyperspherical Latents Improve Continuous-Token Autoregressive Generation

September 29, 2025

Autores: Guolin Ke, Hui Xue

cs.AI

Resumo

Modelos autoregressivos (AR) são promissores para geração de imagens, mas as variantes de tokens contínuos de AR frequentemente ficam atrás de modelos de difusão latente e geração mascarada. O problema central é a variância heterogênea nos latentes de VAEs, que é amplificada durante a decodificação AR, especialmente sob orientação livre de classificador (CFG), e pode causar colapso de variância. Propomos o SphereAR para resolver esse problema. Seu design central é restringir todas as entradas e saídas AR — incluindo após CFG — a permanecerem em uma hiperesfera de raio fixo (norma ell_2 constante), aproveitando VAEs hiperesféricos. Nossa análise teórica mostra que a restrição hiperesférica remove o componente de escala (a principal causa do colapso de variância), estabilizando assim a decodificação AR. Empiricamente, na geração de ImageNet, o SphereAR-H (943M) estabelece um novo estado da arte para modelos AR, alcançando FID 1.34. Mesmo em escalas menores, o SphereAR-L (479M) atinge FID 1.54 e o SphereAR-B (208M) alcança 1.92, igualando ou superando baselines muito maiores, como MAR-H (943M, 1.55) e VAR-d30 (2B, 1.92). Até onde sabemos, esta é a primeira vez que um gerador de imagens AR puro de próximo token com ordem raster supera modelos de difusão e geração mascarada em escalas de parâmetros comparáveis.

English

Autoregressive (AR) models are promising for image generation, yet continuous-token AR variants often trail latent diffusion and masked-generation models. The core issue is heterogeneous variance in VAE latents, which is amplified during AR decoding, especially under classifier-free guidance (CFG), and can cause variance collapse. We propose SphereAR to address this issue. Its core design is to constrain all AR inputs and outputs -- including after CFG -- to lie on a fixed-radius hypersphere (constant ell_2 norm), leveraging hyperspherical VAEs. Our theoretical analysis shows that hyperspherical constraint removes the scale component (the primary cause of variance collapse), thereby stabilizing AR decoding. Empirically, on ImageNet generation, SphereAR-H (943M) sets a new state of the art for AR models, achieving FID 1.34. Even at smaller scales, SphereAR-L (479M) reaches FID 1.54 and SphereAR-B (208M) reaches 1.92, matching or surpassing much larger baselines such as MAR-H (943M, 1.55) and VAR-d30 (2B, 1.92). To our knowledge, this is the first time a pure next-token AR image generator with raster order surpasses diffusion and masked-generation models at comparable parameter scales.