GEAR: Управляемая сквозная авторегрессия для синтеза изображений

Аннотация

Визуальные генеративные модели обычно обучаются в два этапа. Сначала обучается токенизатор для реконструкции, после чего он замораживается, и затем генератор обучается на его дискретных индексах или непрерывных латентных представлениях. Такое разделение оставляет токенизатор в неведении относительно того, что генератору легко моделировать. Мы представляем GEAR (Guided End-to-end AutoRegression), который обучает векторно-квантованный (VQ) токенизатор и авторегрессионный (AR) генератор совместно и сквозным образом, направляемый выравниванием представлений. Ключевым препятствием является то, что VQ-индекс, подаваемый на AR-модель, недифференцируем, поэтому градиенты не могут достичь токенизатора, а оценка прямого прохода (straight-through estimator) разрушается. GEAR решает эту проблему с помощью двойного считывания назначения кодовой книги. Жесткая ветвь с one-hot кодированием обучает AR с помощью предсказания следующего токена, в то время как дифференцируемая мягкая ветвь несет потерю выравнивания представлений, которая передается обратно для управления только токенизатором. Таким образом, AR-модель направляет свой токенизатор к распределению индексов, которое она может предсказывать легче. Это переносит бремя выравнивания с токенизатора на AR: собственные признаки токенизатора становятся менее похожими на DINOv2, в то время как признаки AR становятся более похожими — противоположность рецептам со стороны диффузионных моделей, которые делают само латентное представление семантическим. GEAR ускоряет сходимость gFID на ImageNet до 10 раз по сравнению с сильным базовым методом LlamaGen-REPA, обучает значительно лучшие патчевые и пространственно-когерентные признаки, а также обобщается на различные квантователи (VQVAE, LFQ, IBQ) и на генерацию текста в изображение.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.