RewardDance: Масштабирование вознаграждений в визуальной генерации

RewardDance: Reward Scaling in Visual Generation

September 10, 2025

Авторы: Jie Wu, Yu Gao, Zilyu Ye, Ming Li, Liang Li, Hanzhong Guo, Jie Liu, Zeyue Xue, Xiaoxia Hou, Wei Liu, Yan Zeng, Weilin Huang

cs.AI

Аннотация

Модели вознаграждения (Reward Models, RMs) играют ключевую роль в улучшении генеративных моделей с помощью обучения с подкреплением (Reinforcement Learning, RL), однако парадигма масштабирования RMs в области визуальной генерации остается малоизученной. Это связано с фундаментальными ограничениями существующих подходов: RMs на основе CLIP страдают от архитектурных ограничений и ограничений входных модальностей, в то время как широко используемые функции потерь Брэдли-Терри принципиально не согласованы с механизмом предсказания следующего токена в моделях "визуальный язык" (Vision-Language Models, VLMs), что препятствует эффективному масштабированию. Более того, процесс оптимизации RLHF страдает от проблемы "взлома вознаграждения" (Reward Hacking), когда модели эксплуатируют недостатки сигнала вознаграждения, не улучшая реальное качество. Для решения этих проблем мы представляем RewardDance — масштабируемую структуру моделирования вознаграждения, которая преодолевает эти барьеры с помощью новой генеративной парадигмы вознаграждения. Переформулируя оценку вознаграждения как вероятность модели предсказать токен "да", указывающий, что сгенерированное изображение превосходит эталонное изображение согласно определенным критериям, RewardDance внутренне согласует цели вознаграждения с архитектурами VLMs. Это согласование открывает возможности масштабирования в двух направлениях: (1) Масштабирование модели: систематическое увеличение RMs до 26 миллиардов параметров; (2) Масштабирование контекста: интеграция инструкций, специфичных для задачи, эталонных примеров и цепочек рассуждений (chain-of-thought, CoT). Эксперименты показывают, что RewardDance значительно превосходит современные методы в задачах генерации "текст-в-изображение", "текст-в-видео" и "изображение-в-видео". Важно, что мы решаем давнюю проблему "взлома вознаграждения": наши крупномасштабные RMs демонстрируют и поддерживают высокую дисперсию вознаграждения в процессе тонкой настройки RL, что доказывает их устойчивость к взлому и способность создавать разнообразные и качественные результаты. Это значительно смягчает проблему коллапса мод, которая характерна для меньших моделей.

English

Reward Models (RMs) are critical for improving generation models via Reinforcement Learning (RL), yet the RM scaling paradigm in visual generation remains largely unexplored. It primarily due to fundamental limitations in existing approaches: CLIP-based RMs suffer from architectural and input modality constraints, while prevalent Bradley-Terry losses are fundamentally misaligned with the next-token prediction mechanism of Vision-Language Models (VLMs), hindering effective scaling. More critically, the RLHF optimization process is plagued by Reward Hacking issue, where models exploit flaws in the reward signal without improving true quality. To address these challenges, we introduce RewardDance, a scalable reward modeling framework that overcomes these barriers through a novel generative reward paradigm. By reformulating the reward score as the model's probability of predicting a "yes" token, indicating that the generated image outperforms a reference image according to specific criteria, RewardDance intrinsically aligns reward objectives with VLM architectures. This alignment unlocks scaling across two dimensions: (1) Model Scaling: Systematic scaling of RMs up to 26 billion parameters; (2) Context Scaling: Integration of task-specific instructions, reference examples, and chain-of-thought (CoT) reasoning. Extensive experiments demonstrate that RewardDance significantly surpasses state-of-the-art methods in text-to-image, text-to-video, and image-to-video generation. Crucially, we resolve the persistent challenge of "reward hacking": Our large-scale RMs exhibit and maintain high reward variance during RL fine-tuning, proving their resistance to hacking and ability to produce diverse, high-quality outputs. It greatly relieves the mode collapse problem that plagues smaller models.