Los Latentes Hiperesféricos Mejoran la Generación Autoregresiva de Tokens Continuos

Hyperspherical Latents Improve Continuous-Token Autoregressive Generation

September 29, 2025

Autores: Guolin Ke, Hui Xue

cs.AI

Resumen

Los modelos autorregresivos (AR) son prometedores para la generación de imágenes, sin embargo, las variantes de AR con tokens continuos suelen quedar por detrás de los modelos de difusión latente y generación enmascarada. El problema central es la varianza heterogénea en los latentes de los VAE, que se amplifica durante la decodificación AR, especialmente bajo la guía sin clasificador (CFG), y puede causar un colapso de la varianza. Proponemos SphereAR para abordar este problema. Su diseño central consiste en restringir todas las entradas y salidas del AR —incluyendo después de la CFG— a que se encuentren en una hiperesfera de radio fijo (norma ell_2 constante), aprovechando los VAE hiperesféricos. Nuestro análisis teórico muestra que la restricción hiperesférica elimina el componente de escala (la causa principal del colapso de la varianza), estabilizando así la decodificación AR. Empíricamente, en la generación de ImageNet, SphereAR-H (943M) establece un nuevo estado del arte para los modelos AR, logrando un FID de 1.34. Incluso a escalas más pequeñas, SphereAR-L (479M) alcanza un FID de 1.54 y SphereAR-B (208M) alcanza 1.92, igualando o superando líneas base mucho más grandes como MAR-H (943M, 1.55) y VAR-d30 (2B, 1.92). Hasta donde sabemos, esta es la primera vez que un generador de imágenes AR puro de siguiente token con orden de ráster supera a los modelos de difusión y generación enmascarada en escalas de parámetros comparables.

English

Autoregressive (AR) models are promising for image generation, yet continuous-token AR variants often trail latent diffusion and masked-generation models. The core issue is heterogeneous variance in VAE latents, which is amplified during AR decoding, especially under classifier-free guidance (CFG), and can cause variance collapse. We propose SphereAR to address this issue. Its core design is to constrain all AR inputs and outputs -- including after CFG -- to lie on a fixed-radius hypersphere (constant ell_2 norm), leveraging hyperspherical VAEs. Our theoretical analysis shows that hyperspherical constraint removes the scale component (the primary cause of variance collapse), thereby stabilizing AR decoding. Empirically, on ImageNet generation, SphereAR-H (943M) sets a new state of the art for AR models, achieving FID 1.34. Even at smaller scales, SphereAR-L (479M) reaches FID 1.54 and SphereAR-B (208M) reaches 1.92, matching or surpassing much larger baselines such as MAR-H (943M, 1.55) and VAR-d30 (2B, 1.92). To our knowledge, this is the first time a pure next-token AR image generator with raster order surpasses diffusion and masked-generation models at comparable parameter scales.