RankE: Сквозное посттренировочное обучение для дискретной генерации изображений по тексту с ко-эволюцией декодера

Аннотация

Дискретные авторегрессионные (AR) модели текст-в-изображение (T2I) объединяют VQ-токенизатор с AR-политикой, и в существующих конвейерах пост-обучения оптимизируется только политика при замороженном VQ-декодере. Недавние работы по диффузионным T2I-моделям, в частности REPA-E, показали, что сама VAE является ключевым узким местом выравнивания, однако аналогичное исследование для дискретных AR-моделей отсутствует. Мы демонстрируем, что оптимизация только политики приводит к латентному ковариатному сдвигу: по мере эволюции политики результирующее распределение токенов отклоняется от истинного распределения, на котором обучался декодер, вследствие чего оценки награды улучшаются, а качество декодированных изображений ухудшается. Для устранения этого несоответствия мы предлагаем RankE — первый сквозной фреймворк пост-обучения для дискретной генерации T2I. Вместо оптимизации политики относительно фиксированного декодера RankE обеспечивает совместную эволюцию обоих компонентов посредством чередующейся оптимизации: каждый модуль максимизирует целевую функцию выравнивания на основе ранжирования, при этом регуляризируясь стабилизирующим якорем, адаптированным к его пространству параметров. Такая ко-эволюция устраняет компромисс между точностью воспроизведения и выравниванием, свойственный подходам с замороженным декодером: на LlamaGen-XL (775M) стандартное RL улучшает CLIP, но ухудшает FID, тогда как RankE одновременно улучшает оба показателя (FID 15,21, CLIP 33,76 на MS-COCO 30K). Устойчивые улучшения на Janus-Pro (1B) подтверждают, что ко-эволюция декодера надежно преобразует оптимизацию награды в улучшение качества в пиксельном пространстве.

English

Discrete autoregressive (AR) text-to-image (T2I) models pair a VQ tokenizer with an AR policy, and current post-training pipelines optimize only the policy while keeping the VQ decoder frozen. Recent diffusion T2I work, exemplified by REPA-E, has shown that the VAE itself constitutes a key alignment bottleneck, yet no analogous investigation exists for discrete AR models. We show that policy-only optimization induces Latent Covariate Shift: as the policy evolves, the resulting token distribution diverges from the ground-truth distribution on which the decoder was trained, such that reward scores improve while decoded image quality degrades. To address this mismatch, we propose RankE, the first end-to-end post-training framework for discrete T2I generation. Rather than optimizing the policy against a fixed decoder, RankE co-evolves both components through alternating optimization: each module maximizes a ranking-based alignment objective while being regularized by a stability-preserving anchor suited to its parameter space. This co-evolution breaks the fidelity--alignment trade-off that plagues frozen-decoder approaches: on LlamaGen-XL (775M), standard RL improves CLIP but degrades FID, whereas RankE improves both simultaneously (FID 15.21, CLIP 33.76 on MS-COCO 30K). Consistent gains on Janus-Pro (1B) confirm that decoder co-evolution reliably converts reward optimization into pixel-space quality improvements.