RankE: Ende-zu-Ende-Post-Training für diskrete Text-zu-Bild-Generierung mit Decoder-Koevolution

Zusammenfassung

Diskrete autoregressive (AR) Text-zu-Bild (T2I) Modelle kombinieren einen VQ-Tokenizer mit einer AR-Policy. Aktuelle Post-Training-Pipelines optimieren lediglich die Policy, während der VQ-Dekoder eingefroren bleibt. Neuere Arbeiten zu Diffusions-T2I-Modellen, exemplarisch REPA-E, haben gezeigt, dass das VAE selbst einen zentralen Ausrichtungsengpass darstellt – eine vergleichbare Untersuchung für diskrete AR-Modelle existiert jedoch nicht. Wir zeigen, dass eine reine Policy-Optimierung einen latenten Kovariatenshift induziert: Während sich die Policy weiterentwickelt, weicht die resultierende Tokenverteilung von der Ground-Truth-Verteilung ab, auf der der Dekoder trainiert wurde. Dies führt dazu, dass die Belohnungswerte steigen, während die decodierte Bildqualität abnimmt. Um dieses Missverhältnis zu beheben, schlagen wir RankE vor – das erste End-to-End-Post-Training-Framework für diskrete T2I-Generierung. Anstatt die Policy gegen einen fixierten Dekoder zu optimieren, ko-evolviert RankE beide Komponenten durch eine alternierende Optimierung: Jedes Modul maximiert ein rankingbasiertes Ausrichtungsziel, während es durch einen für seinen Parameterraum geeigneten Stabilitätsanker regularisiert wird. Diese Ko-Evolution durchbricht den Treue-Ausrichtungs-Kompromiss, der Ansätze mit eingefrorenem Dekoder plagt: Bei LlamaGen-XL (775M) verbessert standardmäßiges RL zwar CLIP, verschlechtert jedoch den FID, während RankE beide Metriken gleichzeitig verbessert (FID 15,21, CLIP 33,76 auf MS-COCO 30K). Konsistente Verbesserungen bei Janus-Pro (1B) bestätigen, dass die Dekoder-Ko-Evolution zuverlässig die Belohnungsoptimierung in Qualitätssteigerungen im Pixelraum übersetzt.

English

Discrete autoregressive (AR) text-to-image (T2I) models pair a VQ tokenizer with an AR policy, and current post-training pipelines optimize only the policy while keeping the VQ decoder frozen. Recent diffusion T2I work, exemplified by REPA-E, has shown that the VAE itself constitutes a key alignment bottleneck, yet no analogous investigation exists for discrete AR models. We show that policy-only optimization induces Latent Covariate Shift: as the policy evolves, the resulting token distribution diverges from the ground-truth distribution on which the decoder was trained, such that reward scores improve while decoded image quality degrades. To address this mismatch, we propose RankE, the first end-to-end post-training framework for discrete T2I generation. Rather than optimizing the policy against a fixed decoder, RankE co-evolves both components through alternating optimization: each module maximizes a ranking-based alignment objective while being regularized by a stability-preserving anchor suited to its parameter space. This co-evolution breaks the fidelity--alignment trade-off that plagues frozen-decoder approaches: on LlamaGen-XL (775M), standard RL improves CLIP but degrades FID, whereas RankE improves both simultaneously (FID 15.21, CLIP 33.76 on MS-COCO 30K). Consistent gains on Janus-Pro (1B) confirm that decoder co-evolution reliably converts reward optimization into pixel-space quality improvements.