Parallele Rollout-Approximation für autoregressive Bildgenerierung im Pixelraum

Zusammenfassung

Die autoregressive (AR) Erzeugung mit kontinuierlichen Token im Bildraum modelliert Bilder direkt als Sequenzen roher Pixel-Blöcke und vermeidet so eine diskrete Tokenisierung oder einen separat vortrainierten Tokenizer. Sie steht jedoch vor zwei gekoppelten Herausforderungen: Die Erzeugung hochdimensionaler Blöcke führt zu großen Fehlern pro Schritt, und das Training mit Teacher-Forcing erzeugt eine Trainings-Inferenz-Lücke, die dazu führt, dass sich diese Fehler über die AR-Schritte hinweg akkumulieren. Existierende Lösungen wie die x-Vorhersage und die Rauschinjektion in die Eingabe mildern diese Probleme nur teilweise. Ein exaktes Rollout-Training passt besser zu den Inferenzbedingungen, ist jedoch aufgrund der prohibitiven Langsamkeit der sequenziellen Abtastung unpraktikabel. Wir schlagen die Parallele Rollout-Näherung (PRA) vor, ein skalierbares Rahmenwerk, das beide Herausforderungen gemeinsam angeht. PRA erzeugt anstelle hochdimensionaler Pixel-Blöcke niedrigdimensionale Zwischenzustände und bildet diese dann mit einem Pixel-Decoder wieder auf Pixelraum-Token ab, wodurch eine AR-Schnittstelle mit Pixel-Eingabe und Pixel-Ausgabe erhalten bleibt. Außerdem konstruiert es inferenzähnliche Pixel-Eingaben über denselben Weg vom Zwischenzustand zum Pixel wie bei der Inferenz, unabhängig über Positionen hinweg, und nähert so die Pixel-Rückkopplungsschnittstelle an, die während des Inferenz-Rollouts auftritt, während das parallele Teacher-Forced-Training beibehalten wird. Bei der klassenbedingten ImageNet-1K-Erzeugung mit einer Auflösung von 256×256 erreicht PRA-S mit 135 Millionen Parametern einen FID von 2,58 und übertrifft damit das bisherige milliardenschwere Pixelraum-AR-Ergebnis von 3,60. Die Skalierung auf PRA-L mit 511 Millionen Parametern verbessert den FID weiter auf 1,94 und etabliert einen neuen Stand der Technik unter den Pixelraum-AR-Modellen. Über die Erzeugung hinaus erreicht PRA eine höhere ImageNet-Klassifikations-Probing-Genauigkeit als andere AR- und Diffusions-Baselines, was auf sein Potenzial für eine vereinheitlichte Bildraumerzeugung und -verständnis hindeutet.

English

Pixel-space continuous-token autoregressive (AR) generation directly models images as sequences of raw pixel patches, avoiding discrete tokenization or a separately pretrained tokenizer. However, it faces coupled challenges: high-dimensional patch generation causes large single-step errors, and teacher-forced training creates a train--inference gap that makes these errors accumulate across AR steps. Existing fixes such as x-prediction and input noise injection only partially mitigate these issues. Exact rollout training better matches inference-time conditions, but is impractical due to prohibitively slow sequential sampling. We propose Parallel Rollout Approximation (PRA), a scalable framework that addresses both challenges jointly. PRA generates low-dimensional intermediate states instead of high-dimensional pixel patches, then maps them back to pixel-space tokens with a pixel decoder, preserving a pixel-in, pixel-out AR interface. It also constructs inference-like pixel inputs through the same intermediate-state-to-pixel path used at inference, independently across positions, approximating the pixel-feedback interface encountered during inference-time rollout while retaining parallel teacher-forced training. On class-conditional ImageNet-1K generation at 256times256 resolution, PRA-S with 135M parameters achieves an FID of 2.58, surpassing the previous billion-scale pixel-space AR result of 3.60. Scaling to PRA-L with 511M parameters further improves FID to 1.94, establishing a new state of the art among pixel-space AR models. Beyond generation, PRA achieves higher ImageNet classification probing accuracy than other AR and diffusion baselines, suggesting its potential for unified pixel-space image generation and understanding.