픽셀 공간 자기회귀 이미지 생성을 위한 병렬 롤아웃 근사

초록

픽셀 공간 연속 토큰 자기회귀(AR) 생성은 이미지를 원시 픽셀 패치의 시퀀스로 직접 모델링하여 개별 토큰화나 별도로 사전 학습된 토크나이저를 필요로 하지 않는다. 그러나 이 방식은 두 가지 결합된 문제에 직면한다. 고차원 패치 생성으로 인해 한 단계에서 큰 오류가 발생하며, 교사 강제 학습은 훈련-추론 차이를 만들어 이러한 오류가 AR 단계를 거치며 누적된다. x-예측이나 입력 노이즈 주입과 같은 기존의 해결책은 이러한 문제를 부분적으로만 완화한다. 정확한 롤아웃 학습은 추론 시점의 조건에 더 잘 부합하지만, 실용적이지 못할 정도로 느린 순차적 샘플링으로 인해 실행이 불가능하다. 우리는 두 문제를 동시에 해결하는 확장 가능한 프레임워크인 병렬 롤아웃 근사(PRA)를 제안한다. PRA는 고차원 픽셀 패치 대신 저차원 중간 상태를 생성한 후, 이를 픽셀 디코더로 픽셀 공간 토큰에 다시 매핑함으로써 픽셀 입력-픽셀 출력 AR 인터페이스를 유지한다. 또한 추론 시 사용되는 동일한 중간 상태-대-픽셀 경로를 통해 위치별로 독립적으로 추론형 픽셀 입력을 구성하여, 추론 시점의 롤아웃 동안 마주치는 픽셀 피드백 인터페이스를 근사하면서도 병렬 교사 강제 학습을 유지한다. 256×256 해상도의 클래스 조건부 ImageNet-1K 생성에서 1억 3500만 개의 파라미터를 가진 PRA-S는 FID 2.58을 달성하여, 이전의 수십억 규모 픽셀 공간 AR 결과인 3.60을 능가한다. 5억 1100만 개의 파라미터를 가진 PRA-L로 확장하면 FID가 1.94로 더욱 개선되어 픽셀 공간 AR 모델 중 새로운 최고 수준을 확립한다. 생성 외에도 PRA는 다른 AR 및 확산 기반 방법보다 더 높은 ImageNet 분류 프로빙 정확도를 달성하여, 통합된 픽셀 공간 이미지 생성 및 이해의 가능성을 제시한다.

English

Pixel-space continuous-token autoregressive (AR) generation directly models images as sequences of raw pixel patches, avoiding discrete tokenization or a separately pretrained tokenizer. However, it faces coupled challenges: high-dimensional patch generation causes large single-step errors, and teacher-forced training creates a train--inference gap that makes these errors accumulate across AR steps. Existing fixes such as x-prediction and input noise injection only partially mitigate these issues. Exact rollout training better matches inference-time conditions, but is impractical due to prohibitively slow sequential sampling. We propose Parallel Rollout Approximation (PRA), a scalable framework that addresses both challenges jointly. PRA generates low-dimensional intermediate states instead of high-dimensional pixel patches, then maps them back to pixel-space tokens with a pixel decoder, preserving a pixel-in, pixel-out AR interface. It also constructs inference-like pixel inputs through the same intermediate-state-to-pixel path used at inference, independently across positions, approximating the pixel-feedback interface encountered during inference-time rollout while retaining parallel teacher-forced training. On class-conditional ImageNet-1K generation at 256times256 resolution, PRA-S with 135M parameters achieves an FID of 2.58, surpassing the previous billion-scale pixel-space AR result of 3.60. Scaling to PRA-L with 511M parameters further improves FID to 1.94, establishing a new state of the art among pixel-space AR models. Beyond generation, PRA achieves higher ImageNet classification probing accuracy than other AR and diffusion baselines, suggesting its potential for unified pixel-space image generation and understanding.