PromptRL: Важность промптов в обучении с подкреплением для потокового генеративного моделирования изображений

PromptRL: Prompt Matters in RL for Flow-Based Image Generation

February 1, 2026

Авторы: Fu-Yun Wang, Han Zhang, Michael Gharbi, Hongsheng Li, Taesung Park

cs.AI

Аннотация

Модели потокового согласования (Flow Matching, FM) произвели революцию в генерации изображений по тексту (text-to-image, T2I), а обучение с подкреплением (Reinforcement Learning, RL) стало ключевой стратегией пост-обучения для согласования с целевыми функциями вознаграждения. В данном исследовании мы показываем, что текущие RL-конвейеры для FM страдают от двух недооцененных, но важных ограничений: неэффективности использования образцов из-за недостаточного разнообразия генераций и выраженного переобучения на промпты, когда модели запоминают конкретные формулировки из обучающей выборки и демонстрируют резкое падение производительности при оценке на семантически эквивалентных, но стилистически различных промптах. Мы представляем PromptRL (Prompt Matters in RL for Flow-Based Image Generation) — фреймворк, который интегрирует языковые модели (Language Models, LM) в качестве обучаемых агентов для уточнения промптов непосредственно в цикл RL-оптимизации, основанный на потоках. Такая конструкция дает два взаимодополняющих преимущества: быстрое развитие сложных способностей к переформулированию промптов и, что критически важно, синергетический режим обучения, который преобразует динамику оптимизации. PromptRL достигает наилучших результатов на нескольких бенчмарках, получая оценки 0.97 на GenEval, 0.98 на точности OCR и 24.05 на PickScore. Кроме того, мы подтверждаем эффективность нашего RL-подхода на крупномасштабных моделях редактирования изображений, улучшая показатель EditReward модели FLUX.1-Kontext с 1.19 до 1.43 всего за 0.06 миллиона rollout'ов, превосходя Gemini 2.5 Flash Image (также известную как Nano Banana) с результатом 1.37 и достигая сопоставимой производительности с ReasonNet (1.44), которая полагалась на разметку данных с мелкими деталями вместе со сложным многоэтапным обучением. Наши обширные эксперименты эмпирически демонстрируют, что PromptRL стабильно достигает более высоких пределов производительности, требуя при этом более чем в 2 раза меньше rollout'ов по сравнению с наивным RL, использующим только потоки. Наш код доступен по адресу https://github.com/G-U-N/UniRL.

English

Flow matching models (FMs) have revolutionized text-to-image (T2I) generation, with reinforcement learning (RL) serving as a critical post-training strategy for alignment with reward objectives. In this research, we show that current RL pipelines for FMs suffer from two underappreciated yet important limitations: sample inefficiency due to insufficient generation diversity, and pronounced prompt overfitting, where models memorize specific training formulations and exhibit dramatic performance collapse when evaluated on semantically equivalent but stylistically varied prompts. We present PromptRL (Prompt Matters in RL for Flow-Based Image Generation), a framework that incorporates language models (LMs) as trainable prompt refinement agents directly within the flow-based RL optimization loop. This design yields two complementary benefits: rapid development of sophisticated prompt rewriting capabilities and, critically, a synergistic training regime that reshapes the optimization dynamics. PromptRL achieves state-of-the-art performance across multiple benchmarks, obtaining scores of 0.97 on GenEval, 0.98 on OCR accuracy, and 24.05 on PickScore. Furthermore, we validate the effectiveness of our RL approach on large-scale image editing models, improving the EditReward of FLUX.1-Kontext from 1.19 to 1.43 with only 0.06 million rollouts, surpassing Gemini 2.5 Flash Image (also known as Nano Banana), which scores 1.37, and achieving comparable performance with ReasonNet (1.44), which relied on fine-grained data annotations along with a complex multi-stage training. Our extensive experiments empirically demonstrate that PromptRL consistently achieves higher performance ceilings while requiring over 2times fewer rollouts compared to naive flow-only RL. Our code is available at https://github.com/G-U-N/UniRL.