Гиперсферические латентные переменные улучшают авторегрессионную генерацию с непрерывными токенами

Hyperspherical Latents Improve Continuous-Token Autoregressive Generation

September 29, 2025

Авторы: Guolin Ke, Hui Xue

cs.AI

Аннотация

Авторегрессионные (AR) модели перспективны для генерации изображений, однако их варианты с непрерывными токенами часто уступают моделям с латентной диффузией и маскированной генерацией. Основная проблема заключается в неоднородной дисперсии латентных переменных VAE, которая усиливается в процессе AR-декодирования, особенно при использовании классификаторно-свободного управления (CFG), что может приводить к коллапсу дисперсии. Мы предлагаем SphereAR для решения этой проблемы. Её ключевая идея заключается в ограничении всех входных и выходных данных AR — включая данные после CFG — на гиперсфере фиксированного радиуса (постоянная норма ℓ₂), используя гиперсферические VAE. Наш теоретический анализ показывает, что гиперсферическое ограничение устраняет компонент масштаба (основную причину коллапса дисперсии), тем самым стабилизируя AR-декодирование. Экспериментально, в задаче генерации на ImageNet, SphereAR-H (943M) устанавливает новый рекорд для AR-моделей, достигая FID 1.34. Даже на меньших масштабах SphereAR-L (479M) достигает FID 1.54, а SphereAR-B (208M) — 1.92, что соответствует или превосходит значительно более крупные базовые модели, такие как MAR-H (943M, 1.55) и VAR-d30 (2B, 1.92). Насколько нам известно, это первый случай, когда чистая AR-модель генерации изображений с последовательным порядком токенов превосходит модели диффузии и маскированной генерации при сопоставимых масштабах параметров.

English

Autoregressive (AR) models are promising for image generation, yet continuous-token AR variants often trail latent diffusion and masked-generation models. The core issue is heterogeneous variance in VAE latents, which is amplified during AR decoding, especially under classifier-free guidance (CFG), and can cause variance collapse. We propose SphereAR to address this issue. Its core design is to constrain all AR inputs and outputs -- including after CFG -- to lie on a fixed-radius hypersphere (constant ell_2 norm), leveraging hyperspherical VAEs. Our theoretical analysis shows that hyperspherical constraint removes the scale component (the primary cause of variance collapse), thereby stabilizing AR decoding. Empirically, on ImageNet generation, SphereAR-H (943M) sets a new state of the art for AR models, achieving FID 1.34. Even at smaller scales, SphereAR-L (479M) reaches FID 1.54 and SphereAR-B (208M) reaches 1.92, matching or surpassing much larger baselines such as MAR-H (943M, 1.55) and VAR-d30 (2B, 1.92). To our knowledge, this is the first time a pure next-token AR image generator with raster order surpasses diffusion and masked-generation models at comparable parameter scales.