GEAR: 유도된 종단간 자동회귀를 통한 이미지 합성

초록

시각적 생성 모델은 일반적으로 두 단계로 훈련된다. 먼저 토크나이저가 재구성을 위해 훈련된 후 고정되고, 이후 생성기가 이산 인덱스 또는 연속 잠재 변수 위에서 훈련된다. 이러한 분리 방식은 생성기가 모델링하기 쉬운 것을 토크나이저가 인지하지 못하게 한다. 본 논문에서는 GEAR(Guided End-to-end AutoRegression)를 제안하며, 이는 벡터 양자화(VQ) 토크나이저와 자기회귀(AR) 생성기를 표현 정렬에 의해 유도되어 종단간 공동 훈련한다. 주요 장애물은 AR 모델에 입력되는 VQ 인덱스가 미분 불가능하므로 기울기가 토크나이저에 도달할 수 없고, 직통 추정기가 붕괴된다는 점이다. GEAR는 코드북 할당의 이중 판독을 통해 이를 해결한다. 경질의 원-핫 분기는 다음 토큰 예측으로 AR 모델을 훈련하는 반면, 미분 가능한 소프트 분기는 토크나이저만 유도하기 위해 역전파되는 표현 정렬 손실을 전달한다. 이로써 AR 모델은 자신이 더 쉽게 예측할 수 있는 인덱스 분포로 토크나이저를 유도한다. 이는 정렬 부담을 토크나이저에서 AR로 이동시킨다. 즉, 토크나이저 자체의 특징은 DINOv2 유사성이 줄어드는 반면 AR의 특징은 증가하며, 이는 잠재 변수 자체를 의미론적으로 만드는 확산 측 접근법과는 반대이다. GEAR는 강력한 LlamaGen-REPA 기준선 대비 ImageNet gFID 수렴을 최대 10배 가속화하고, 눈에 띄게 더 나은 패치 수준 및 공간적 일관성 특징을 학습하며, 양자화기(VQVAE, LFQ, IBQ) 및 텍스트-이미지 생성에 일반화된다.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.